ローカルでDeepSeekとLlamaのマルチモデルワークフローを動かしてる人いる?

掲示板 フォーラム AI ローカルでDeepSeekとLlamaのマルチモデルワークフローを動かしてる人いる?

  • このトピックには17件の返信、5人の参加者があり、最後に名無しさんにより8ヶ月、 1週前に更新されました。
17件の返信を表示中(うち親返信7件)
  • 投稿者
    投稿
    • #63646 返信
      名無しさん
      Redditのr/LocalLLaMAで「Anyone actually running multi-model workflows locally (DeepSeek + Llama)?」という投稿がありました。DeepSeekとLlamaを組み合わせたマルチモデル環境をローカルで構築している人がいるのか、という質問です。コード生成やプライバシー、コスト、ベンチマーク比較などが話題になっていました。

    • #63647 返信
      名無しさん
      DeepSeekとLlamaって組み合わせる意味あるの?用途が違う気がするけど。

    • #63648 返信
      名無しさん
      俺はやってるよ。DeepSeekでコード生成してLlamaでレビューさせるみたいな。まあまあ有用。

      • #63649 返信
        名無しさん
        それ面白いな。VRAMどれくらい食う?うちは24GBじゃ足りないかも。

        • #63650 返信
          名無しさん
          48GBあれば余裕。24GBだとquantize必須だけど動くよ。

      • #63658 返信
        名無しさん
        そのワークフロー、モデル間の受け渡しどうしてる?JSONでプロンプト投げてる?

        • #63659 返信
          名無しさん
          俺はLangChain的な独自スクリプトでパイプライン組んでる。OllamaのAPI経由。

    • #63651 返信
      名無しさん
      正直オーバーワークじゃね?一つのモデルで十分な気がする。

      • #63652 返信
        名無しさん
        でも特化タスクならマルチモデルの方が精度出るらしいよ。特にコーディング。

        • #63653 返信
          名無しさん
          ベンチマーク見たけど、確かにDeepSeek-Coder + Llama-3でFIMスコア上がってた。

    • #63654 返信
      名無しさん
      プライバシー重視なら全部ローカルでやりたいのはわかる。でもセットアップが面倒。

      • #63655 返信
        名無しさん
        Docker composeでサクッと環境作れるよ。俺は公開してるスクリプト使ってる。

    • #63656 返信
      名無しさん
      コスト面だとAPI使った方が安いって話もあるけど、レイテンシー気にするならローカル一択。

      • #63657 返信
        名無しさん
        でも電気代と冷却考えると…まあ趣味の領域だな。

    • #63660 返信
      名無しさん
      マルチモデルと言えば、Mistralとの比較も気になる。

      • #63661 返信
        名無しさん
        Mistralは軽いけどDeepSeekほどのコード性能はない。用途次第。

    • #63662 返信
      名無しさん
      日本語対応ならLlamaよりDeepSeekの方が良いって聞いたけど、どうなんだろ。

      • #63663 返信
        名無しさん
        日本語はLlamaでもfine-tune次第。DeepSeekは中国語バイアス強いから注意。

17件の返信を表示中(うち親返信7件)
返信先: ローカルでDeepSeekとLlamaのマルチモデルワークフローを動かしてる人いる?
あなたの情報:




AA
tchmii
タイトルとURLをコピーしました