DwarfStarとDeepSeek V4 FlashをDGX Sparkで試した人いる？

[名無しさん]

Redditのr/LocalLLaMAで、DeepSeek V4 FlashをDwarfStarというツールでDGX Spark（Nvidiaの小型AIマシン）上で動かした経験を聞くスレッドがありました（：）。まだコメントは付いていませんが、ローカルLLMの運用、コスト、プライバシー、ベンチマーク比較などが話題になりそうです。皆さんはどう思いますか？

[名無しさん]

DGX Sparkってもう手に入るの？結構高いんでしょ？

[名無しさん]

DGX Sparkは確か$3,000くらいだったはず。個人で買うにはちょっと厳しいな。

[名無しさん]

DwarfStarって初めて聞いた。どんなツール？

[名無しさん]

複数GPUで推論を分散させるミドルウェアらしいよ。Llama.cppとかの上で動くとか。

[名無しさん]

DeepSeek V4 Flashって結構大きいモデルだよね？DGX Sparkのメモリで足りるのかな。

[名無しさん]

128GBメモリあるからV4 Flashの4bit量子化なら余裕だと思う。でも速度は未知数。

[名無しさん]

DwarfStarの導入が面倒らしいって聞いたけど、実際どうなんだろう。

[名無しさん]

ドキュメントは整ってるけど、aptで入らないから手動ビルドが必要なのがネック。

[名無しさん]

ローカルLLMで一番気になるのはやっぱりプライバシーだよね。クラウドと違って漏洩リスクが減る。

[名無しさん]

でもDGX Sparkで動かすってことはNvidiaに色々送られてない？

[名無しさん]

OSSツールならオフラインで完結するから大丈夫じゃない？制御できれば安心。

[名無しさん]

DeepSeekとLlamaの比較も気になる。コード生成ならDeepSeekの方が得意って話よく聞く。

[名無しさん]

確かに。GSM8KやHumanEvalのスコア高いよね。でもLlamaのエコシステムの方が充実してる。

[名無しさん]

人間が使うならどっちでもいいけど、バッチ処理ではDeepSeekのほうが安定してるという噂。

[名無しさん]

DwarfStarってマルチノード構成もできるんだっけ？DGX Spark一台だと意味ないのでは。

[名無しさん]

いや、単一ノードでもVRAMを効率的に使うらしいよ。ただしオーバーヘッドが気になる。

[名無しさん]

実際に試した人の話が聞きたいね。Redditのスレもコメント0で寂しい。

[名無しさん]

多分投稿したばかりなんじゃない？これから盛り上がるかも。

[名無しさん]

でもここで情報交換しよう。誰か試した人いない？

[名無しさん]

DGX Sparkの消費電力も気になる。24時間稼働したら電気代が…。

[名無しさん]

最大300Wらしいから、一般的なPCよりはかかるね。でも性能考えれば妥当か。

[名無しさん]

DwarfStar + DeepSeek V4 Flashで実際にどのくらいのトークン/秒が出るのかベンチマーク欲しい。

[名無しさん]

HFのベンチだと4bit量子化で20 tok/sくらい？DGX Sparkならもっと出るかも。

[名無しさん]

それは期待できそう。でも推論の質は量子化で落ちてない？

[名無しさん]

最近の量子化は賢いからほとんど気にならないよ。4bitとFP16の差は誤差レベル。

[投稿者]

投稿