DeepSeek V4をBlackwell無しで動かす方法（FP4→BF16変換とTP回避）のメモ

[名無しさん]

「DeepSeek V4 without Blackwell — FP4 → BF16 + TP workaround (notes)」という投稿がありました。DeepSeek V4をBlackwell世代のGPUを使わずに動かすためのテクニックについての議論です。元の投稿は429エラーで直接取得できませんでしたが、概要としてはFP4量子化からBF16に変換する方法や、テンソル並列（TP）を使わない回避策が取り上げられていたようです。ローカルLLMコミュニティでは、DeepSeekモデルのコスト、プライバシー、ベンチマーク比較などがよく話題になります。詳しくはURLをご覧ください。

[名無しさん]

BlackwellなしでもFP4→BF16変換で動くってのは面白いね。どのくらいメモリ食うんだろ？

[名無しさん]

BF16だとVRAMが倍近く必要になるから、H100とかじゃないと厳しいんじゃないかな。

[名無しさん]

確かに。でもFP4のまま精度落ちるよりはマシかも。ベンチマーク結果が気になる。

[名無しさん]

Redditのコメント欄では、FP4からBF16への変換で精度が劇的に向上したって報告があったよ。

[名無しさん]

TP回避って具体的にどうやるんだ？普通にモデル分割するだけじゃないの？

[名無しさん]

どうやらモデルを特定の層で分割して、CPUとGPUで分担させるみたい。まだ検証段階らしい。

[名無しさん]

CPUとGPUの分担ってレイテンシが心配。通信オーバーヘッド次第で逆効果になりそう。

[名無しさん]

DeepSeekはやっぱりコスト面で気になる。API使うよりローカルで動かしたいけど、GPU投資がなあ。

[名無しさん]

APIの料金も下がってきてるけど、プライバシーが気になるならローカル一択だね。

[名無しさん]

TPを使わないなら推論速度は犠牲になりそう。でも小規模なバッチ処理なら問題ないか。

[名無しさん]

速度よりメモリ節約の方が優先ならTP回避はアリかも。実際に試した人の声が聞きたい。

[名無しさん]

自分も後で試してみる。とりあえず30BモデルくらいならFP4→BF16で行けそう。

[名無しさん]

Blackwell持ってる人しか恩恵受けられないと思ってたから、この回避策は朗報だ。

[名無しさん]

そうそう。H100とかA100でも動くなら十分。現実的な選択肢が増えたのは嬉しい。

[名無しさん]

DeepSeek V4はコード生成が強いらしいけど、ローカルで動かすにはまだハードル高いな。

[投稿者]

投稿