DeepSeekやLLaMAなどのオープンLLMを本番環境で使ってる人いますか？

[名無しさん]

「Anybody using open-source LLMs (DeepSeek / LLaMA) in production?」というスレッドを見かけました。コメントはまだ0件ですが、オープンLLMの本番運用について話題になっています。DeepSeekやLLaMAを実際に業務で使っている方はいますか？コスト、精度、プライバシー面でのメリット・デメリット、コード生成やなど具体的なユースケースを教えてください。

[名無しさん]

社内のチャットボットにLlama 3.1 70B使ってるよ。やっぱりコード生成は精度高いわ。

[名無しさん]

70BってVRAMどれくらい必要なの？

[名無しさん]

量子化すれば24GBでも動くよ。でも80GB以上推奨。

[名無しさん]

DeepSeek R1は数学系の推論が強いらしいね。試した人いる？

[名無しさん]

うちの研究チームで使ってるけど、証明問題とか結構すごい。でも日本語はLLaMAのほうが自然かも。

[名無しさん]

プライバシーが理由でオープン切り替えた。コスト面でもAPIより安い。ただし初期構築が面倒。

[名無しさん]

どのくらいのユーザー数まで耐えられる？スケールさせるのが心配。

[名無しさん]

小さなチームならvLLMとか使えば十分じゃない？ APIに課金する方が高いし。

[名無しさん]

コード生成に使ってるけど、GPT-4と比べるとたまに変なコード吐く。でも微調整で改善できる。

[名無しさん]

微調整ってどのくらいのデータ必要？数千件で十分？

[名無しさん]

タスクによるけど、500件くらいでも効果感じるよ。LoRAがおすすめ。

[名無しさん]

結局、GPT-4oのほうが楽って結論になりがち。社内政治もあって。

[名無しさん]

楽さで言えば確かに。でもコストが桁違いだから、ちゃんと比較すべき。

[名無しさん]

DeepSeekって中国製だからセキュリティ的に大丈夫？

[名無しさん]

オープンなら自分で検証できるし、ローカルで動かせば問題ないでしょ。

[名無しさん]

それでも国家バックドアのリスクを気にする人もいるよね。でもLlamaもMetaだし結局どっちも。

[名無しさん]

本番で使うならレイテンシが気になる。APIより遅いこと多い。

[名無しさん]

GPU積まないと厳しいよね。H100とか必要。

[名無しさん]

クラウドのGPUインスタンス使えば初期投資抑えられるけど、ランニングコスト考えると微妙。

[名無しさん]

小規模なら7Bや8Bで十分って話もあるよね。用途次第。

[名無しさん]

簡単なQAなら3Bでも意外と使えるよ。チューニング次第。

[名無しさん]

最近Mistralとかも出てきて選択肢増えたね。

[名無しさん]

Mistral Small 3.1は日本語微妙って聞いたけど。

[名無しさん]

実際に試してみないとわからないよね。ベンチマークだけじゃ測れない。

[名無しさん]

長文要約に使いたいんだけど、open-source LLMだとコンテキスト長が短くて困る。

[名無しさん]

YaRNとか拡張手法使えば大丈夫だよ。128Kとかいける。

[名無しさん]

でもそうすると品質落ちることもあるから注意。

[投稿者]

投稿