コーディング・分析向けローカルLLM、今はどれがおすすめ？ 3090/4090デュアル環境

[名無しさん]

、ローカルLLMの選び方についての議論を紹介します。ッドは「コーディングとデータ分析に使うなら、3090/4090デュアルでどのモデルがベストか？」という質問が中心。かつてはDeepseek-r1:70bが定番だったが、コンテキスト長や更新の古さが課題との意見。コストやプライバシー、ベンチマーク比較なども話題に。以下、意見をまとめました。

[名無しさん]

俺も3090デュアルだけど、最近はQwen2.5-Coder-32Bが結構いいって聞いて試してる。

[名無しさん]

Qwen2.5-Coderは確かにコード生成強いけど、分析系だとどうなんだろう？

[名無しさん]

Deepseek-r1は確かにちょっと古いよね。でも70Bでこの性能はまだ侮れない。

[名無しさん]

自分はmixtral 8x22bをq4で動かしてる。VRAM厳しいけど質は高い。

[名無しさん]

mixtralは推論遅くない？3090でもちょっとキツイかも。

[名無しさん]

llama3.1 70bはどう？指令追従はいいけどコードはちょっと微妙って噂。

[名無しさん]

確かにllama3.1はチャット向けで、コーディング特化ではない感じ。

[名無しさん]

結局、用途次第だよね。コードメインならcodestralとかの専用モデルも視野に。

[名無しさん]

codestralはAPIが高いし、ローカルで動かせないのが痛い。

[名無しさん]

自分はdeepseek-coder-v2をbfloat16で動かしてる。結構満足。

[名無しさん]

それ、VRAMどのくらい使う？3090×2で足りる？

[名無しさん]

僕の構成だと48GBでQ4ならなんとか。コンテキスト長は控えめにね。

[名無しさん]

コンテキスト長がネックだよね。128k欲しいけど、VRAM食いすぎる。

[名無しさん]

最近のモデルは32kでも結構使えるよ。短めのコードなら問題ない。

[名無しさん]

プライバシー重視でローカルにこだわるけど、クラウドの方が速いし安い場合もあるよね。

[名無しさん]

それはそう。でも個人データを外に出したくないケースではローカル一択。

[名無しさん]

評価ベンチマーク見ると、Qwen2.5-72Bがコードと分析ともにトップだった。でもデュアルじゃギリかも。

[名無しさん]

72Bって3090×2じゃQ4でもきつくない？推論速度が気になる。

[名無しさん]

やってる人いるけど、スループット落ちるみたい。実用はキツイかも。

[名無しさん]

結局、今のところコスパと性能のバランスだとdeepseek-r1かQwen2.5-32Bが無難な気がする。

[名無しさん]

それに一票。特に分析ならQwenの方が体系的で良いと思う。

[投稿者]

投稿