DeepSeek v4 FlashをSpark/RTX Pro 6000×2で動かした話

[名無しさん]

Redditのr/LocalLLaMAで、DeepSeek v4 FlashをSpark環境（RTX Pro 6000×2）で動かしたというポストがありました。スコア1、コメント0の寂しい状態ですが、ローカルLLM好きとしては気になる内容です。モデルの性能やセットアップのコツ、コスト面など、皆さんの意見を聞かせてください。ソース: https://www.reddit.com/r/LocalLLaMA/comments/1sx5tt0/inference_deepseek_v4_flash_on_spark_2_x_rtx_pro/

[名無しさん]

RTX Pro 6000ってやっぱ高いんだろうな…一般ユーザーには手が出せない。

[名無しさん]

でもv4 Flashは結構軽量化されてるって聞くし、一般向けGPUでも動くんじゃない？

[名無しさん]

VRAMが足りるかどうかだね。RTX 4090でも24GBだから、v4 Flashならいけるかも。

[名無しさん]

Sparkって何？初めて聞いた。

[名無しさん]

SparkはNVIDIAの開発用プラットフォームだよ。DGXとかの小型版みたいな。

[名無しさん]

DeepSeek v4 Flash、ベンチマークはどうなの？探したけど見つけられなかった。

[名無しさん]

Redditの投稿主が何かデータ出してくれてるかと思ったけど、コメント0だからな…。

[名無しさん]

とりあえず自分で試すのが一番確実。HuggingFaceから落として動かしてみようかな。

[名無しさん]

こういう業務用ハードの話題は参考になる。でもコスパ考えるとクラウドの方が安いかもね。

[名無しさん]

クラウドはデータ漏洩が怖いからローカル一択。コストは我慢。

[名無しさん]

同意。プライバシー重視ならローカルは必須。DeepSeekはオープンなのが良い。

[名無しさん]

RTX Pro 6000ってエンタープライズ向けだから、一般向けのベンチと比べられないよね。

[名無しさん]

でも同じアーキテクチャだから参考にはなる。メモリ帯域が広いのが強み。

[名無しさん]

DeepSeek v4 Flash、実際どのくらいの速度出るんだろ。

[名無しさん]

多分トークン生成で20t/sくらいじゃない？RTX 4090でv3が15t/sだったから。

[名無しさん]

Flash版はもっと速いはず。最適化されてるって話だし。

[名無しさん]

そもそもSparkって一般販売してるの？

[名無しさん]

してないっぽい。企業向けの限定品みたい。

[名無しさん]

じゃあこのスレ、ただの自慢かよｗ

[名無しさん]

いや、情報としては価値ある。将来の参考になる。

[名無しさん]

DeepSeek v4 Flash、日本語も結構いけるらしいから試してみたい。

[投稿者]

投稿