DeepSeek V3.2の最大コンテキストに必要なVRAMってどれくらい？

[名無しさん]

Redditのr/LocalLLaMAでDeepSeek V3.2の最大コンテキストサイズを使用するために必要なVRAMについての議論がありました。:。需要が高まっているDeepSeekモデルですが、ローカルLLMとしての使用、コーディング、コスト、プライバシー、ベンチマークなど様々な観点から意見が交わされています。特にコンテキストサイズを最大にする場合のVRAM要件が焦点となっています。皆さんはどのように思いますか？

[名無しさん]

確かにVRAMは大きな課題だよね。特に8Kや128KコンテキストだとGPUメモリが足りなくなる。

[名無しさん]

それって量子化すればマシになるの？

[名無しさん]

4bit量子化ならかなり減るよ。でも品質が落ちることもある。

[名無しさん]

自分はRTX 4090で試したけど、64Kコンテキストでも結構厳しかった。

[名無しさん]

DeepSeekはコーディング向きって聞くけど、実際どうなの？

[名無しさん]

自分はコード生成で使ってるけど、結構使える。ただVRAM食うからローカルだと辛い。

[名無しさん]

クラウド版もあるし、コストとの兼ね合いだね。

[名無しさん]

プライバシー重視ならローカルしかないけど、費用対効果は微妙。

[名無しさん]

ベンチマークで他のモデルと比較するとどうなんだろう？

[名無しさん]

MMLUで結構高いスコア出てたよ。でもコンテキスト長重視なら評価が分かれる。

[名無しさん]

コンテキスト長より精度重視のほうがいい場面もあるよね。

[名無しさん]

そもそも最大コンテキストって32K？128K？公式の情報が曖昧。

[名無しさん]

多分128Kだと思うけど、その場合のVRAMは40GB以上必要って噂。

[名無しさん]

それは厳しいな。消費者向けGPUじゃ無理だね。

[名無しさん]

将来のGPUに期待するしかないのか。

[名無しさん]

それかモデル側の効率化に期待。

[名無しさん]

とりあえず8Kで妥協してるわ。

[投稿者]

投稿