DeepSeek-V3.2登場！ローカルLLMの新境地？

[名無しさん]

Redditのr/LocalLLaMAでDeepSeek-V3.2の話題が出てました。
まだコメントは少ないけど、DeepSeekの新モデルってことで性能や使い勝手について語りたい。特にローカルで動かせるサイズなのか、コーディングや日本語対応はどうか、ベンチマーク結果は？ってとこですね。評価や使用感をシェアしましょう。

[名無しさん]

ついに来たか。V3.1からどれくらい変わったんだろう。

[名無しさん]

パラメータ数は同じくらいらしいけど、トレーニングデータが増えてるみたい。

[名無しさん]

コーディング性能はどう？CodeLlamaよりいいかな。

[名無しさん]

ベンチマークだとHumanEvalで結構良いスコア出てるよ。でも実際使ってみないとわからん。

[名無しさん]

日本語対応はまだ微妙なのかな。学習データに日本語少なそう。

[名無しさん]

試したけど、日本語はたまに変な出力になる。でも英語よりはマシになった気がする。

[名無しさん]

ローカルで動かすなら量子化必須だよな。Q4_K_Mでどのくらいの速度か気になる。

[名無しさん]

32BモデルだからVRAM12GBくらいあれば動くって聞いたけど、実際はもっと必要かも。

[名無しさん]

DeepSeekってAPIも安いらしいけど、やっぱりプライバシーが気になる。

[名無しさん]

ローカルで完結できるのが理想だよね。その点V3.2はいい選択肢かもしれない。

[名無しさん]

他のモデルと比較した人いる？Llama 3.1やQwen 2.5とどう違う？

[名無しさん]

簡単な比較だと、DeepSeekは数学と推論が強いって印象。でもクリエイティブなタスクはLlamaの方が上かも。

[名無しさん]

同意。コーディングと数式はDeepSeek、文章生成はLlamaって使い分けかな。

[名無しさん]

MoE（Mixture of Experts）なのがいいね。推論速度はそんなに変わらないけど。

[名無しさん]

MoEだとメモリ効率は良いけど、キャッシュ周りが微妙らしい。

[名無しさん]

中国のモデルだからデータの偏りが心配。やっぱり特定の話題でバイアスあるよな。

[名無しさん]

そこは気をつけて使わないとね。でもOSSで公開されてるのはありがたい。

[名無しさん]

実際に動かした人いる？どんな環境でどのくらいの速度？

[名無しさん]

RTX4090で16bitならそこそこ速い。でも4bit量子化なら30Bモデルと似た感じ。

[名無しさん]

なるほど。自分は3090だからちょっと厳しいかな。

[名無しさん]

ライセンスはどうなってるの？商用利用できる？

[名無しさん]

MITライセンスだったはず。結構自由度高いよ。

[名無しさん]

ベンチマークの数字だけ見るとすごいけど、実用でどこまで使えるかだな。

[名無しさん]

そうそう。特に長文の要約とか会話の継続はまだ課題あり。

[名無しさん]

とりあえずダウンロードしてみる。またレポートするわ。

[投稿者]

投稿