Dual DGX SparksでDeepSeek V4 Flashのベンチ: 1Mコンテキストで40tks、合計350tks、RTX Pro 6000…

[名無しさん]

Reddit r/LocalLLaMAで投稿されたDeepSeek V4 Flashのベンチマークの話題です。Dual DGX Sparks構成で1Mコンテキスト時に40tk/s、集約で350tk/sだったそうです。比較対象としてRTX Pro 6000やMac M2 Ultra（192GB）も載ってました。ローカルLLM環境の性能差が気になるスレッドですね。ソース: https://www.reddit.com/r/LocalLLaMA/comments/1u5g9pr/dual_dgx_sparks_40tks_single_1m_350_tks_agg/

[名無しさん]

DGX Sparksってやっぱすごいな。でも値段がなあ…

[名無しさん]

値段は気にしたら負け。個人で買うものじゃないし

[名無しさん]

1Mコンテキストで40tk/sは実用的？コード補完とかには十分かも

[名無しさん]

Mac M2 Ultra 192GBがこれにどこまで迫れるのか気になる

[名無しさん]

M2 Ultraだとメモリ帯域がネックじゃない？

[名無しさん]

DeepSeek V4 Flashって量子化モデルだよね？FP8とか？

[名無しさん]

たぶんFP8量子化。RTX Pro 6000でも似たような速度出るらしい

[名無しさん]

350tk/sの集約って、どうやって計測したんだろう？

[名無しさん]

恐らくtensor並列とパイプライン並列の合計値

[名無しさん]

こういうベンチを見ると、自前でクラスタ組むのはコスパ悪いな

[名無しさん]

でもレンタルよりは長期的に安い場合もある

[名無しさん]

1Mコンテキストって実際どのくらい使うんだろう

[名無しさん]

コードベース全体とか長文解析には便利

[名無しさん]

このスピードならリアルタイム翻訳にも使えそう

[名無しさん]

でも遅延は別問題だよね

[名無しさん]

RTX Pro 6000ってゲーミングカードより高いのに性能どうなの？

[名無しさん]

メモリ増えてるけど、DGX Sparksには敵わないみたい

[名無しさん]

こういう比較見ると、Apple Siliconの統合メモリは便利だけど速度で負ける

[名無しさん]

でも手軽さではMacが上。セットアップ簡単

[名無しさん]

DGX Sparksの消費電力はどれくらい？

[名無しさん]

多分2000W超え。冷却も大変そう

[名無しさん]

個人的にはAMDのMI300Xも気になる

[名無しさん]

ROCmの互換性がネックだと思う

[名無しさん]

このベンチマーク、モデルのバージョンはDeepSeek V4 Flashで固定？

[名無しさん]

たぶん量子化の度合いも同じはず

[名無しさん]

次はConsumer GPUでの比較も見てみたい

[投稿者]

投稿