Deepseek R1 を64GB RAM + 32GB VRAMで動かす人の体験談

[名無しさん]

Reddit r/LocalLLaMA で話題の「Deepseek R1, 64GBRam + 32GB VRAM」というスレッドを紹介します。投稿者は64GBのシステムRAMと32GBのVRAMを使ってDeepseek R1をローカルで動かしたそうです。スレッドでは、コーディング性能やベンチマーク、コスト、プライバシー面でのメリット、他のモデルとの比較などが議論されていました。7件のコメントが付いていて、実際に試した人の感想が中心です。以下、その内容を日本語でまとめた議論をどうぞ。元スレッド: https://www.reddit.com/r/LocalLLaMA/comments/1qzhl8r/deepseek_r1_64gbram_32gb_vram/

[名無しさん]

64GB RAMって結構ええ値段するよね。でもVRAM32GBも積んでるってことは相当な金持ちやな。

[名無しさん]

実際、Deepseek R1の量子化版ならそんなにVRAM要らんって話もあるけどな。

[名無しさん]

そうそう、4ビット量子化なら16GBくらいでも動くらしい。でもフル精度だとさすがに32GB欲しいわ。

[名無しさん]

コーディング性能はどうなん？GPT-4と比べてどうやろう？

[名無しさん]

スレでは「コード生成は結構イケる」って意見が多かったけど、やっぱりGPT-4には劣るって声もあったで。

[名無しさん]

でもローカルで動かせるってのはプライバシー的にでかい。API経由だとデータ漏洩が怖いし。

[名無しさん]

電力消費とか熱対策はどうしてるんやろ？そんなハイスペPCだと発熱やばそう。

[名無しさん]

水冷とか当たり前やろ。でも電気代が月に数万円行きそうで怖いわ。

[名無しさん]

ベンチマーク結果は出てた？MMLUとかでどのくらいやったん？

[名無しさん]

Deepseek R1は元々ベンチマーク強いらしいけど、ローカルだと量子化でスコア落ちるから注意が必要。

[名無しさん]

確かに、量子化すると精度が微妙に下がる。でも実用上は問題ないって人も多い。

[名無しさん]

こういうハードウェア構成って、ワークステーションクラスやな。一般ユーザーには手が出ん。

[名無しさん]

でもクラウドでレンタルするより長期的には安上がりかもしれん。ただし初期投資がでかいけど。

[名無しさん]

あと電気代と冷却費も考慮せなあかん。サーバー運用と同じや。

[名無しさん]

ほかのローカルLLMと比べてDeepseek R1はどうなん？Llama 3とかMistralと。

[名無しさん]

コーディングならDeepseek、汎用ならLlamaって感じみたい。でも好みもあるな。

[名無しさん]

日本語の性能はどうなん？Deepseekって中国製やから日本語弱いって聞いたけど。

[名無しさん]

確かに母国語の中国語以外はそこそこって話。日本語はLlamaの方がマシかも。

[名無しさん]

このスレの投稿者、結局満足してるんかな？コメント少ないから分からん。

[名無しさん]

多分、環境構築に苦労したって話は出てたけど、動いたら満足してるんちゃう。

[名無しさん]

俺も32GB VRAM欲しくなってきた。でも予算が…。中古のRTX 3090探そうかな。

[投稿者]

投稿