DeepSeek R3をローカルで動かした人の話

[名無しさん]

Redditのr/LocalLLaMAでDeepSeek R3をローカル実行したというスレッドがありました。
コード生成やベンチマーク、コスト、プライバシーなどの比較が話題です。実際に動かしてみた人の感想などをまとめました。

[名無しさん]

R3ってやっぱり量子化しないと動かないよね？

[名無しさん]

4bit量子化なら3070でも動くって聞いたけど？

[名無しさん]

自分はRTX4090で試したけど、VRAM26GBでもギリギリだった。

[名無しさん]

DeepSeekって中国製だからプライバシーが心配でローカルで動かしたいんだよな。

[名無しさん]

そこは同意。API使うより安心感ある。

[名無しさん]

コード生成の性能はLlama3.1と比べてどうなんだろう？

[名無しさん]

HumanEvalで見る限りR3の方が上だったよ。

[名無しさん]

でも日本語のコードコメントは変なときある。

[名無しさん]

電気代と時間考えたらAPIの方が安いって意見もあったけど、どう思う？

[名無しさん]

長期運用ならローカルのが結局安い場合もあるよ。

[名無しさん]

APIで検閲されるのが嫌だからローカル一択。

[名無しさん]

ベンチマークって本当に信頼できるのかね？

[名無しさん]

テストセットに過学習してる可能性はある。

[名無しさん]

実際に使ってみた感触の方が大事だと思う。

[名無しさん]

Ollamaで簡単に動かせるって聞いたけど、設定ファイルいじるのめんどい。

[名無しさん]

llama.cpp直で動かす方が柔効性高いよ。

[名無しさん]

R3とQwen2.5、どっちがおすすめ？用途はチャットボット。

[名無しさん]

日本語ならQwen2.5の方が得意らしいよ。

[名無しさん]

でもQwenも中国製でプライバシーは同じだよね。

[名無しさん]

R3は英語のコード向けかな。複雑な推論はR3の方がいい。

[投稿者]

投稿