DeepSeek 128kコンテキストでメモリ使用量125MB？それとも8〜9GB？混乱してる

[名無しさん]

Redditのr/LocalLLaMAで、DeepSeekの128kコンテキスト時のメモリ使用量について混乱している投稿がありました。投稿者によると、作者が「128kで125MB未満」と主張しているのに、他のソースやBF16の計算式からは128kで8〜9GBのVRAMが必要になるとのこと。実際のところはどうなんでしょうか？ローカルLLMの実運用におけるメモリ効率や、DeepSeekの最適化の真偽について議論しましょう。ソース: https://www.reddit.com/r/LocalLLaMA/comments/1s6qdva/im_confused_here_the_author_says_at_128k_context/

[名無しさん]

125MBってありえなくない？何か特別な量子化とかキャッシュの工夫をしてるのかな。

[名無しさん]

それでも125MBは極端すぎる。KVキャッシュだけでそれくらい行くと思う。

[名無しさん]

そうそう。128kのKVキャッシュはBF16でモデルサイズと同じくらいになるはず。

[名無しさん]

BF16だと確かに8GB超えるはず。でも、DeepSeekが独自の圧縮技術を使ってる可能性はある。

[名無しさん]

それでも125MBは無理だよ。例えばMHAの代わりにMQAとか使うにしても圧縮率が桁違い。

[名無しさん]

MQAでも128kはきつい。もしかしてコンテキストウィンドウを小さく分割して処理してるとか？

[名無しさん]

実際に動かしてみた人のレポートが欲しい。

[名無しさん]

Redditのコメントでも議論になってたけど、検証結果が出てないんだよね。

[名無しさん]

HuggingFaceのベンチマークとか見てもそんな数字は出てこないね。

[名無しさん]

多分なんか勘違いしてるんじゃない？モデルパラメータ数とコンテキストを混同してるとか。

[名無しさん]

DeepSeekは効率重視で設計されてるから、何かしら賢い方法を使ってるのかも。

[名無しさん]

マーケティングの誇大広告かもしれない。実際に使うとVRAM不足で落ちるとか。

[名無しさん]

仕組みが知りたい。CPUオフロードとか併用してるの？

[名無しさん]

GPUだけでやるならどう考えても無理。CPU+GPUのハイブリッドならあり得るかも。

[名無しさん]

とにかく公式のベンチマークを出してほしい。ローカルLLMユーザーとしては重要だから。

[名無しさん]

同意。ソースコード読めばわかることもあるけど、やっぱり実測が大事。

[名無しさん]

この手の話はよくあるけど、実際に試すまでわからない。自分は試してみる価値はあると思う。

[名無しさん]

モデル自体のサイズが小さければ、その分コンテキストに回せるから、意外と現実的なのかも？

[名無しさん]

でもDeepSeekって結構大きいモデルじゃなかった？パラメータ数が多ければコンテキストも食う。

[名無しさん]

そもそも125MBって数字がどこから来たのか調べたほうがいい。引用元の文脈が違うのかも。

[名無しさん]

そういう意味では、このスレッドで出てる情報だけでは判断できないね。もっとソースを確認しよう。

[投稿者]

投稿