DeepSeek-R1-Distill-Llama-70Bを24GB VRAM + 64GB RAMで動かせる？ 遅くてもいいから

[名無しさん]

Redditの r/LocalLLaMA で「DeepSeek-R1-Distill-Llama-70Bを24GB VRAMと64GB RAMで動かせるか？ 遅くてもいいから」というスレッドがありました。実際に試した人の意見や、メモリマッピング、量子化、推論速度などの議論が行われています。

[名無しさん]

VRAM24GBじゃ70Bは厳しいよ。4bit量子化でも40GB以上必要だから、RAM64GBでもオフロード前提ならなんとかって感じ。

[名無しさん]

でもllama.cppとか使えばCPUオフロードで動くよ。超遅いけどね。

[名無しさん]

実際に試した人いる？ 自分の環境で動かしてみたいけど、時間の無駄になるのが怖い。

[名無しさん]

俺は32GB VRAM + 64GB RAMでQ4_K_Mの70Bモデル動かしてる。推論速度は1トークン/秒くらい。24GBだとさらに厳しいだろうね。

[名無しさん]

マジか。1トークン/秒だと会話には耐えられないな。コード補完とかバッチ処理なら使えるかも。

[名無しさん]

DeepSeek-R1はDistill版でもパラメータ多いから、素直に8Bとか使った方がいいと思う。

[名無しさん]

でも70Bのほうが賢いって聞くし、なんとかしたいんだよな。

[名無しさん]

用途によるけど、ローカルで動かす意味はプライバシーとカスタマイズだからね。速度犠牲にする価値はあるかも。

[名無しさん]

そうそう、外部APIに送りたくないデータなら遅くてもOK。

[名無しさん]

Redditのスレでも、24GB VRAMで動かすには4bit量子化＋CPUオフロードでRAM16GB以上っていう意見があったよ。

[名無しさん]

その場合、推論はめちゃくちゃ遅くなるらしいね。

[名無しさん]

64GB RAMならオフロード分は足りるけど、VRAM帯域がボトルネックになる。

[名無しさん]

そもそもDeepSeek-R1-DistillってLlamaベースだから、他の70Bモデルと大差ないんじゃない？

[名無しさん]

いや、DeepSeekのRLでファインチューンされてるから、数学とかコーディングは強いって話。

[名無しさん]

そうなんだ。じゃあ試してみたいけど、環境整えるのが面倒。

[名無しさん]

とりあえずllama.cppの最新版で–mlock使うといいらしい。

[名無しさん]

–tensor-split指定でオフロード量調整できるよ。例：24GBならレイヤー30くらい？

[名無しさん]

それやるとVRAM溢れないか心配。実際に動かした人のレポート待ち。

[名無しさん]

自分で試すのが一番だけど、ダウンロードに時間かかるしな。

[名無しさん]

別に遅くてもいいなら、クラウド使ったほうがコスパ良くない？

[名無しさん]

そういう問題じゃないんだよ。ローカルで完結させたいんだ。

[名無しさん]

わかる。ネットワーク経由だとセキュリティ不安だしね。

[名無しさん]

Redditのスレ主は24GB VRAM+64GB RAMで動かせたのかな？

[名無しさん]

スレでは「動くけど激遅」って結論みたい。実際に試した人がいたかは不明。

[名無しさん]

なら俺が試してみるか。時間あるし。結果報告するよ。

[名無しさん]

お願い！ 設定とか教えてくれ。

[投稿者]

投稿