192GB VRAM環境に最適なモデルは？DeepSeek v4 flashの実力

[名無しさん]

Redditのr/LocalLLaMAで「192GB VRAMに最適なモデルは？DeepSeek v4 flashはどう？」というスレッドが立っていました。URL:

[名無しさん]

192GBだと70Bモデルを余裕で動かせるね。DeepSeek v4 flashは量子化なしで収まるのか気になる。

[名無しさん]

70Bでも量子化次第だよね。FP8なら192GBで行けるけど、速度はどうなんだろ。

[名無しさん]

うちは128GBだけど、v4 flashは4bit量子化で動いてる。結構速いよ。

[名無しさん]

コーディング用途ならCodeLlamaよりDeepSeekの方が良いって聞いたけど、実際どう？

[名無しさん]

試した感じ、DeepSeek v4 flashはPythonなら優秀だけど、Javaだと微妙だった。

[名無しさん]

コスト面で言うと、API使うよりローカル運用の方が長期的には安いのかな？

[名無しさん]

電気代と初期投資考えると、月5000回以上呼ぶならローカルの方がいいかも。

[名無しさん]

プライバシー重視ならローカル一択だけど、DeepSeekの中国製ってのが引っかかる人もいるみたい。

[名無しさん]

そこは気にする人はLlama系にしとけば安心だろうね。

[名無しさん]

ベンチマークではDeepSeek v4 flashがLlama 3 70Bを超えてるらしいけど、実用的にはどうなんだ。

[名無しさん]

うちの環境（3090×4）で試したら、Llama 3の方が推論速度は速かった。精度はDeepSeekの勝ちかな。

[名無しさん]

そもそも192GBもあるなら、MoEモデルをフル精度で動かせるのもいいかも。

[名無しさん]

Mixtral 8x22Bはどう？確かVRAM 180GBくらいで収まるはず。

[名無しさん]

Mixtral 8x22B使ってるけど、DeepSeek v4 flashよりマルチタスク性能が高い気がする。

[名無しさん]

v4 flashってv3の改良版？それとも完全新規？

[名無しさん]

VRAM効率を改善したFlashAttention採用の派生版だよ。ベースはv3のアーキテクチャ。

[名無しさん]

参考までに、今一番おすすめのモデルは何？予算はEUR5000くらい。

[名無しさん]

その予算なら中古のA6000 48GB×4枚買えるけど、DeepSeek v4 flash使うならNVLink要るよ。

[名無しさん]

APIで事足りてるから、ローカルに興味はあるけど踏み切れないな。

[名無しさん]

最初は7Bモデルで遊んでみるといいよ。すぐにハマるからw

[名無しさん]

DeepSeek v4 flashの公式ベンチ、BLOOMと比べてどうなん？

[名無しさん]

BLOOMよりだいぶ優秀。特にコーディングと数学で差がついてる印象。

[投稿者]

投稿