DeepSeek 671Bをllama.cppで8xRTX PRO 6000Sで動かしたベンチマーク結果

[名無しさん]

Redditのr/LocalLLaMAで、DeepSeek 671Bモデルをllama.cppで8枚のRTX PRO 6000S GPUを使ってレイヤースプリットモードで動かしたベンチマーク結果が投稿されていました。スコア15、コメント31件のスレッドです。実際のパフォーマンスやメモリ使用量、推論速度などが議論されています。詳しくはッドをご覧ください。

[名無しさん]

8枚のPRO 6000Sって凄いな。でも実際に動かすとなると電気代や冷却が大変そうだ。

[名無しさん]

>>2 ああ、GPU8枚ともなると消費電力ヤバいよな。普通の企業じゃ導入無理だわ。

[名無しさん]

671Bパラメータのモデルをローカルで動かせる時代が来たんだな。量子化なしでも動くのか？

[名無しさん]

>>3 たぶん量子化してると思う。フル精度だとVRAMが全然足りないはず。

[名無しさん]

llama.cppのレイヤースプリットモードって安定してるの？前に試した時はエラーで動かなかった。

[名無しさん]

>>6 最近のアップデートで改善されてるらしいよ。自分は4枚の3090で動かせてる。

[名無しさん]

DeepSeekってコーディング向けらしいけど、実際のコード生成の品質はどうなんだろう？

[名無しさん]

>>8 自分が試した感じだと、GPT-4レベルとは言わないけどかなり使えるよ。特にPythonは得意みたい。

[名無しさん]

>>8 でも時々変なコード吐くから注意が必要。レビューは必須だな。

[名無しさん]

ベンチマークの数字だけ見ても実用性は分からない。実際に動かす環境による差が大きい。

[名無しさん]

>>11 そうそう。推論速度よりもメモリ帯域やバッチサイズの影響が大きいよね。

[名無しさん]

この規模のモデルを自宅で動かすのは夢のまた夢だな。クラウドAPIで十分だわ。

[名無しさん]

>>13 でもプライバシーが気になる時はローカルが必要だし、コスト次第では選択肢になるかも。

[投稿者]

投稿