DeepSeek-R1-0528のセットアップについて語ろう

[名無しさん]

Redditのr/LocalLLaMAで「Setup for DeepSeek-R1-0528 (just curious)?」という投稿がありました。ローカルLLM環境でDeepSeek-R1-0528を動かすにはどうすればいいか、気になっている人向けのスレッドです。実際に試した人の経験、必要スペック、量子化の話、コストやプライバシーの観点など、自由に議論しましょう。元

[名無しさん]

まずは必要なVRAMがどれくらいか気になるな。FP16だと24GBじゃ足りない？

[名無しさん]

俺は4bit量子化で試したけど、コード生成はまあまあ使えたよ。

[名無しさん]

24GBでも遅いってレビュー見た。3090だと微妙かも。

[名無しさん]

量子化版なら16GBでも動くって話を聞いたけど、速度はどうなんだろう。

[名無しさん]

DeepSeekって中国製だし、プライバシー面でローカル運用の方が安心だよね。

[名無しさん]

ローカルだと完全オフラインで使えるのが最大のメリット。

[名無しさん]

でもAPIの方が安いし速いから、使い分けかな。

[名無しさん]

R1とV3の違いってなんだ？0528って新しいバージョン？

[名無しさん]

R1は推論特化で、0528はその改良版らしいよ。ベンチマークも結構伸びてる。

[名無しさん]

セットアップってllama.cppでそのまま動くの？それとも専用ツールが必要？

[名無しさん]

llama.cppで動くよ。ggufファイル使えば簡単。

[名無しさん]

でも最新のアーキテクチャだと変換が面倒なこともある。

[名無しさん]

とりあえず試してみたいけど、まずは小さなモデルから入るのが無難かな。

[投稿者]

投稿