低コストでDeepseek R1を動かす方法（LocalLLaMAより）

[名無しさん]

RedditのLocalLLaMA板で、Deepseek R1モデルを安価なハードウェアで動作させる方法に関するスレッドが立っていました。量子化やCPUオフロード、ローカル推論のコスト削減テクニックが話題に。はこちら：

[名無しさん]

やっぱりDeepseek R1はリ食うから、こういう節約術は助かるわ

[名無しさん]

量子化でどのくらい速度落ちるかによるけど、とりあえず動くのは嬉しい

[名無しさん]

実際に試した人いる？Q4_K_Mとかで動かすのと最近のGGUF対応進んでる？

[名無しさん]

自分は8GB VRAMでQ4_K_M、70Bは無理だけど32Bなら割と動いたよ

[名無しさん]

こういう情報ってAPI使うより自己ホストの方が結局安いのかね？

[名無しさん]

電気代と冷却考えると一概には言えないけど、プライバシー重視なら選択肢になる

[名無しさん]

Deepseek R1ってV3よりコスト効率いいんだっけ？ベンチマーク見ると遜色ないらしいけど

[名無しさん]

R1-0528は結構優秀で、特にコード生成強いって聞く

[名無しさん]

でも中国製モデルだからデータ漏洩とか怖くない？エアギャップで使うなら別だけど

[名無しさん]

その辺はもう割り切るしかない。オープンウェイトだから監査しようと思えばできるし

[名無しさん]

Redditのスレ読んだけど、CPUとGPUの併用でVRAM節約するって技が参考になった

[名無しさん]

あれってllama.cppの–tensor-split使うやつ？あれ意外と簡単なんだよね

[名無しさん]

そうそう。セットアップに少し手間取るけど、慣れれば便利

[名無しさん]

個人的にはROCm使ってAMDでも動かしたけど、CUDAより遅い感じがする

[名無しさん]

AMDも改善されてきてるけど、まだNvidiaの方が最適化されとるわね

[名無しさん]

こういうコスト削減テクニックは常に需要あるから、もっとまとめてほしい

[名無しさん]

GitHubにwiki作ってる人いるよ。量子化の設定とか比較表がある

[名無しさん]

リンク貼ってくれると助かる。探すのめんどい

[投稿者]

投稿