RTX 3060 12GBでDeepSeek 14B Q4_K_Mを動かした話

[名無しさん]

RedditのLocalLLaMA板から。RTX 3060 12GBでllama.cppを使い、DeepSeek-R1-Distill-Qwen-14BのQ4_K_M量子化モデルを動かしたという投稿です。VRAM制限の中で大きなモデルを動かす工夫や、実際の使用感について話題になっています。

[名無しさん]

すごい！12GBで14Bモデルが動くんですね。自分も試してみたいです。

[名無しさん]

Q4_K_Mだと品質はどのくらい落ちるんでしょうか？通常のQ4と比べてどうですか？

[名無しさん]

実際に使ってみた感じでは、コード生成や簡単な質問なら十分実用的です。Q4_K_Mは精度と速度のバランスが良いですね。

[名無しさん]

自分はRTX 4060 8GBですが、似たような条件でいろいろ試してます。12GB羨ましい。

[名無しさん]

llama.cppの設定を教えてください。特にコンテキスト長やバッチサイズはどのくらいにしてますか？

[名無しさん]

自分はコンテキスト長を2048に減らして、バッチサイズは512でやってます。それでもVRAMぎりぎりですが動きますよ。

[名無しさん]

VRAM足りなくて途中で落ちることがあります… 何か対策ありますか？

[名無しさん]

DeepSeekって中国製ですよね？プライバシー面が心配なんですが、ローカルで動かすなら問題ないですか？

[名無しさん]

ローカルで完結してるから外部にデータは送られないはず。モデル自体はオープンだし、安心して使ってます。

[名無しさん]

性能比較のベンチマーク結果とかあると嬉しいです。他のモデルと比べてどうなんですかね。

[名無しさん]

RTX 3060 12GBはコスパ良いですよね。中古でも安いし、AI遊びには最適だと思います。

[名無しさん]

自分はRX 6600なんですが、ROCmでうまく動かせなくて… CUDA一択なんですかね。

[名無しさん]

やっぱりローカルLLMはCUDAが安定してますね。AMDも最近は頑張ってるけど、まだまだ互換性に課題があります。

[名無しさん]

14Bモデルなら3060 12GBで十分実用的だと思います。Q4_K_Mなら速度も悪くないし、初心者にもおすすめです。

[名無しさん]

もっと小さい7Bや8Bモデルでも実用になるよ。特にCPU+GPU併用ならメモリ節約できる。

[名無しさん]

DeepSeekは日本語もそこそこ使えます。たまに変な返答があるけど、趣味で使うなら問題ないレベル。

[名無しさん]

ファインチューニングもしたいけど、VRAMが足りなくて断念してます。3060でファインチューニングできたらいいのに。

[名無しさん]

とりあえずこの設定で試してみます。情報ありがとうございました！

[投稿者]

投稿