RTX 6000 PROを4～8枚で大規模モデル運用してる人、実際どう？GLM 5.2、Kimi 2.7、DeepSeek V4 Proとか

[名無しさん]

Redditのr/LocalLLaMAで、4～8枚のRTX 6000 PROを使ってGLM 5.2やKimi 2.7、DeepSeek V4 Proのような大規模モデルを動かしているユーザーの体験談が話題になっていました。マルチGPUのメモリ効率や速度、コスト面、プライバシーまで幅広い意見が交わされています。ここでも同じ環境の人の感想を聞きたいです。ソース: https://www.reddit.com/r/LocalLLaMA/comments/1uex6pb/for_users_with_4x8x_6000_pros_how_is_your/

[名無しさん]

自分は4枚でDeepSeek V4 Proを動かしてる。推論速度はまあまあだけど、VRAMがギリギリ。

[名無しさん]

Kimi 2.7って本当に使えるの？中国製は不安。

[名無しさん]

ベンチマークは結構いいよ。ただ量子化しないと6枚でも厳しいかも。

[名無しさん]

GLM 5.2は会話精度が高いけど、推論に時間がかかる。コスパ考えるとAPI使った方が安い説もある。

[名無しさん]

でもAPIだとデータが漏れるリスクあるから、ローカルで動かす意味は大きいよね。

[名無しさん]

その点、6000 PROはECCメモリだし、安定して長時間運用できるのが強み。

[名無しさん]

自分は8枚構成だけど、電気代がやばい。エアコンもフル稼働で夏は熱中症になりそう。

[名無しさん]

わかる。マルチGPUは冷却が命。水冷にしたらだいぶマシになった。

[名無しさん]

6000 PROの価格高すぎるよ。A6000とか中古でもいいかな。

[名無しさん]

A6000でも大抵のモデルは動く。ただNVLink使えないからバッチサイズで工夫が必要。

[名無しさん]

DeepSeek V4 Proって実際のコード生成どう？噂だと数学は得意らしいけど。

[名無しさん]

簡単なスクリプトならかなり正確。でも複雑なロジックはまだ怪しい。

[名無しさん]

こういう大きいモデル、16ビットじゃなくて8ビット量子化で動かすとどれくらい劣化するの？

[名無しさん]

4bitなら体感誤差。8bitでも知能が落ちた感じはしない。VRAM節約になるしおすすめ。

[名無しさん]

Kimi 2.7の日本語性能、試した人いる？GLMより自然かもと聞いた。

[名無しさん]

自分はKimiで日本語チャットさせてるけど、たまに中国語混ざる。でも会話は滑らか。

[名無しさん]

結局、今一番コスパいいモデルってどれ？Llama 4とかも出てるし。

[名無しさん]

Llama 4はまだ日本語弱い。DeepSeekかQwenの最新版が無難かな。6000 PROなら両方動く。

[投稿者]

投稿