DeepSeekやQwenのコード生成モデルをセルフホストしてる人いる？無制限利用のために

[名無しさん]

DeepSeekやQwenのコード生成モデルをセルフホストして、無制限に使っている人はいますか？Redditのr/LocalLLaMAで同様の議論がありました（）。コスト、プライバシー、ベンチマークなど、実際に使っている人の体験を聞きたいです。

[名無しさん]

お、面白い話題だね。自分も気になってる。コスト面とかどうなんだろう。

[名無しさん]

うちはQwen2.5-Coder 7BをRTX 3090で動かしてる。普通のコード補完なら十分使えるよ。

[名無しさん]

どのくらいメモリ使ってる？llama.cppで動かしてる？

[名無しさん]

ハードウェアはどれくらい必要？メモリやVRAMの目安を教えて。

[名無しさん]

DeepSeekの方が複雑なタスクには向いてると思う。でもモデルサイズが大きいからね。

[名無しさん]

僕はQwenの方がシンプルな補完は速いと感じる。用途によるかも。

[名無しさん]

セルフホストだとレイテンシー高いし、たまに使うだけならAPIの方が安上がりじゃない？

[名無しさん]

企業のコードとか機密情報を扱うならセルフホスト一択だよね。

[名無しさん]

実はDeepSeek Coder 33Bもオープンで、量子化すれば割と動くよ。

[名無しさん]

ollamaとかLM Studio使うとセットアップ簡単だよ。初心者向け。

[名無しさん]

でも性能は環境によるから、ちゃんとベンチマークした方がいい。

[名無しさん]

うちでベンチマークしたけど、Qwen 14Bがバランス良かった。自分のハードには合ってた。

[名無しさん]

どんなハード？俺は2枚の3090なんだけど。

[名無しさん]

2枚なら70Bも4bitで動くよ。試してみたら？

[名無しさん]

70Bはオーバースペックじゃない？32Bで十分だと思うけど。

[名無しさん]

GPUメモリが8GBしかないんだけど、何か動かせる？

[名無しさん]

7Bを量子化すれば動くよ。でもコード生成なら14B推奨。

[名無しさん]

あとllama.cppのGPUアクセラレーション使うと速くなるよ。設定次第。

[名無しさん]

いろいろ試してみるわ。情報ありがとう。

[投稿者]

投稿