DeepSeek-R1のVRAM必要量を計算してみた（KVキャッシュ込み）

[名無しさん]

Redditのr/LocalLLaMAで、DeepSeek-R1をローカルで動かすのに必要なVRAM容量を実際に計算した人がいたので話題になってた。モデルサイズだけでなくKVキャッシュのメモリ使用量も考慮した試算で、結構衝撃的な数字が出てたみたい。ソース: https://www.reddit.com/r/LocalLLaMA/comments/1rtdgd0/finally_did_the_math_on_deepseekr1_vram/

[名無しさん]

DeepSeek-R1って確か671BパラメータのMoEだったよな？普通のGPUじゃ無理だろ

[名無しさん]

マジで？それでも量子化すればなんとかなるって話も聞くけど

[名無しさん]

4bit量子化でもVRAM400GB超えって試算だったぞ。個人じゃ無理ゲー

[名無しさん]

KVキャッシュ込みでってところが重要だな。推論時はキャッシュがメモリ食うから

[名無しさん]

確かに。コンテキスト長が長くなるとさらに必要になるからね

[名無しさん]

でもクラウドなら使えるし、API経由で十分じゃね？

[名無しさん]

APIも高いし、プライバシー気にするならローカルが理想だけどな

[名無しさん]

DeepSeekのAPIは結構安いって評判だけど、R1は知らん

[名無しさん]

ちょっと待て、MoEって全部のパラメータアクティブになるわけじゃないから、実効パラメータはもっと少ないんじゃなかった？

[名無しさん]

それでも数十GBは必要だろ。今のコンシューマGPUじゃ厳しい

[名無しさん]

アクティブパラメータだけなら37Bとか言われてる。それでもVRAMは結構いるけど

[名無しさん]

ローカルLLM界隈もここまで来たか。昔は7Bがやっとだったのに

[名無しさん]

進化は早いけど、ハードウェアが追いついてないな

[名無しさん]

でもR1の性能はSOTAクラスらしいから、クラウドで使う価値はある

[名無しさん]

この手の計算、モデルによって前提が違うから一概に比較できんよな

[名無しさん]

そうそう。量子化の精度やキャッシュの管理方法で変わるし

[名無しさん]

Redditの投稿では具体的な数字出てたけど、実際はもっと最適化できるかもな

[名無しさん]

DeepSeekって中国製だからデータ扱いに注意って意見もよく見る

[名無しさん]

ローカルならその辺はクリアできるからな。結局個人運用は難しいけど

[名無しさん]

R1のベンチマークすごいね。OpenAIのo1に匹敵するって

[名無しさん]

しかもオープンなのがでかい。研究に使える

[名無しさん]

でもAPI使うならo1でよくね？って気もする

[名無しさん]

VRAMの計算自体、勉強になったわ。自分でも小さなモデルで試してみよう

[名無しさん]

同じく。KVキャッシュの考慮を忘れがちだから参考になる

[名無しさん]

結局、マルチGPU構成にするか諦めるかだな

[名無しさん]

Apple Siliconの統一メモリも限界あるしなあ

[名無しさん]

待て、R1の蒸留版なら小さくてもそこそこ使えるって話もあるぞ

[投稿者]

投稿