DeepSeek-V3.1 が Hugging Face に公開されたらしい

[名無しさん]

話題になってた DeepSeek-V3.1 が Hugging Face に上がったそうです。元の:。ローカルLLMでの使用感やベンチマーク、コスト、プライバシーなどについて、みなさんの意見を聞かせてください。特にコーディング用途での性能や、他のモデルとの比較が気になります。

[名無しさん]

お、ついに来たか。V3.1って何が変わったん？

[名無しさん]

推論速度も改善されてるみたい。VRAM消費はV3とほぼ同じで、8bit quantでも動くって。

[名無しさん]

ベンチマークスコアが結構上がってるらしいよ。特にMATHとかCodeで強くなったとか。

[名無しさん]

中国のモデルだからデータのプライバシーが心配って意見もあるけど、ローカルで動かすなら問題ないよね。

[名無しさん]

プライバシー面は確かに気になるけど、オープンウェイトだから自分で検証できるのは利点。

[名無しさん]

実際に使ってみたけど、コーディングはCodestralより少し良いかも。ただし日本語タスクは微妙。

[名無しさん]

Hugging Face で簡単にダウンロードできるのがいいね。ただしライセンスが商用利用制限あり？

[名無しさん]

ライセンスはDeepSeek独自のやつで、商用利用は要確認。でも研究目的ならOK。

[名無しさん]

Llama 3.1 と比べてどうなんだろう。サイズ的に同等？

[名無しさん]

パラメータ数は同じくらいだけど、トレーニングデータが違うから一概に比べられない。個人的にはDeepSeekの方がコードは得意。

[名無しさん]

VRAM 16GB で動く？ 4bit quant ならいけるかな。

[名無しさん]

Q4_K_M で12GBくらい使うから、16GBあれば余裕。ただしコンテキスト長には注意。

[名無しさん]

APIも公開されてるけど、ローカルで動かせるのが魅力。コスト抑えられるし。

[名無しさん]

APIの料金は結構安いって噂。でもやっぱりデータを外に出したくないならローカル一択。

[名無しさん]

ベンチマークだけじゃなくて実用的なタスクで試してほしい。例えば長文要約とか。

[名無しさん]

長文は苦手かも。コンテキストウィンドウがまだ小さい。今後に期待。

[名無しさん]

Redditのスレでも盛り上がってたけど、結局どのモデルが一番コスパ良いんだろう。

[名無しさん]

用途によるよ。チャットならQwen2.5、コードならDeepSeek、日本語ならLlama系とか。

[名無しさん]

V3.1の重みはFP16で700GB超え？ それはデカすぎる。

[名無しさん]

いや、それは間違い。FP16でも350GBくらい。それでもデカいけど。

[名無しさん]

とりあえず早速ダウンロードして試してみる。llama.cpp で推論できる？

[名無しさん]

できるよ。GGUF形式がHugging Faceに上がってるはず。

[名無しさん]

みんな色々意見あるけど、実際に触ってみないとわからんね。とりあえず感謝。

[投稿者]

投稿