DeepSeek-R1 15BモデルのローカルLLMとしての実力

[名無しさん]

Redditのr/LocalLLaMAで話題になっていたDeepSeek-R1（15Bパラメータ）の性能スレッドをまとめました。コード生成、ベンチマーク、ローカル実行のコストやプライバシー面の議論が中心です。ッド:

[名無しさん]

15Bでここまでできるのはすごい。コーディングのベンチマークも意外と高いらしい。

[名無しさん]

具体的にどのベンチマークが良かったの？HumanEvalとか？

[名無しさん]

そうそう、HumanEvalやMBPPで結構いいスコア出してた。ただし7B版は微妙だったらしい。

[名無しさん]

ローカルで動かすにはどれくらいのGPUが必要？VRAM16GBじゃ厳しい？

[名無しさん]

15Bなら4bit量子化で12GBくらいあればいける。RTX3060 12GBで動いてる報告あったよ。

[名無しさん]

マジか。自分の3060でも試してみようかな。

[名無しさん]

プライバシー面を考えるとローカルLLMはいいよね。DeepSeekはAPIも安いけどやっぱりデータが心配。

[名無しさん]

APIは中国企業だからな…ローカルで完結できるのは安心。

[名無しさん]

実際に使ってみたけど、日本語の精度はLlama 3.1 8Bより少し落ちる気がする。

[名無しさん]

それはそもそも学習データの差じゃない？英語特化っぽいよね。

[名無しさん]

そうかも。でもコード生成はDeepSeekの方が得意って意見が多い。

[名無しさん]

15Bパラメータでこれだけ高性能だと、もっと大きなモデルいらないかもね。

[名無しさん]

いや、複雑な推論にはまだ70Bとか必要だよ。用途次第。

[名無しさん]

でもコスパで言えば15Bが一番バランスいいかも。

[名無しさん]

そういえばDeepSeekのライセンスって商用利用OKだっけ？

[名無しさん]

確かMITライセンスだったはず。だから商用も大丈夫。

[名無しさん]

それならプロダクトに組み込みやすいね。

[名無しさん]

今後のアップデートに期待。v2とか出たらもっとすごくなりそう。

[投稿者]

投稿