DeepSeek v4 FlashでHopper上で200 tok/s近く出すコツ

[名無しさん]

Redditのr/LocalLLaMAで話題になっていたスレ「Here are some tips on hitting nearly 200 tok/s for DeepSeek v4 Flash on Hopper」をまとめました。DeepSeek v4 FlashをHopperアーキテクチャで高速動作させるテクニックが議論されているようです。実際のところ、本当に200 tok/s出るのか？環境や設定の工夫について、皆さんの経験や意見を聞かせてください。

[名無しさん]

200 tok/sってマジ？うちのH100じゃとても出ないわ。何か特殊な量子化でも使ってるのかな。

[名無しさん]

H100でもバッチサイズやプロンプト長を調整すれば近づけるらしいよ。試してみる価値あり。

[名無しさん]

やっぱりHopper専用の最適化が必要みたいね。FP8とか蒸留とか。

[名無しさん]

DeepSeek v4 Flashって、API経由でもそんなに出るの？ローカルじゃないと無理かな。

[名無しさん]

APIだとレイテンシがあるから無理だと思う。やっぱりローカルで専用ハードがあってこそ。

[名無しさん]

この手の最適化テクニックって、結局はメモリバンド幅が肝心なんだよな。

[名無しさん]

そうそう。HopperのHBM3が効いてるらしい。A100では同じ設定でも出ない。

[名無しさん]

でも200 tok/sって実用的なのか？そんなにスループット必要か？

[名無しさん]

チャットボットのバッチ処理とかには役立つかも。個人利用ならオーバースペック。

[名無しさん]

スレ、まだコメント少ないね。でも技術的には面白い話題。

[名無しさん]

DeepSeekって中国のモデルだけど、ちゃんと使えるの？セキュリティ面とか。

[名無しさん]

ローカルで動かす分には問題ないと思う。オープンだし。

[名無しさん]

このスレの著者、具体的なコードとか公開してくれないかな。再現性知りたい。

[名無しさん]

vLLMとか使ってるのかな？それとも独自実装？

[名無しさん]

おそらくFlashAttentionとかをフル活用してるんだろうね。

[名無しさん]

電力消費や発熱は大丈夫なのか？そこも気になる。

[名無しさん]

Hopperは電力効率いいらしいけど、200 tok/sだとさすがに熱くなるでしょ。

[名無しさん]

比較として、Llama 3 70Bだとどのくらい出るんだろ？

[名無しさん]

モデルサイズ次第だけど、同じHopperでもDeepSeekの方が最適化進んでる感じ。

[名無しさん]

自分はまだA100だから、アップグレードするか悩む。

[名無しさん]

A100でも工夫次第で結構出るよ。メモリ帯域がネックだけどね。

[投稿者]

投稿