DeepSeek-R1-0528のQwen3 8Bへの蒸留モデル、実際どうなの？

[名無しさん]

話題のDeepSeek-R1-0528をQwen3 8Bに蒸留したモデルについてのスレッドです。:。ローカルLLMのコスト、プライバシー、コーディング性能、ベンチマーク比較など様々な意見があります。皆さんはどう思いますか？

[名無しさん]

これ、Qwen3 8Bベースだとメモリ消費が少なくて良さそう。自宅のMacBookでも動くかな。

[名無しさん]

MacBook M1 16GBで試したけど、4bit量子化で何とか動く。推論速度はまあまあ。

[名無しさん]

M1で動くなら試してみようかな。ただ、VRAMが足りなくてエラーになることもあるらしい。

[名無しさん]

DeepSeekの蒸留モデルはコスパ良いけど、元のR1と比べてどれくらい劣化してるんだろう？

[名無しさん]

実際に使ってみた感じ、複雑な推論はR1に劣るけど、日常的なタスクなら十分。蒸留の精度トレードオフは仕方ないね。

[名無しさん]

蒸留モデルはコスト重視ならアリ。ただし、精度求めるなら素のR1かSonnet使えって意見もあった。

[名無しさん]

ベンチマーク見るとコード生成は結構優秀みたい。ただし日本語は微妙かも。

[名無しさん]

日本語対応はQwen3ベースだからまだマシだけど、やっぱりLlama系よりは弱い気がする。

[名無しさん]

日本語性能を上げるにはやっぱりfine-tuningが必要かな。でもその手間を考えるとAPIに戻っちゃう。

[名無しさん]

プライバシー重視ならローカルモデル一択だけど、APIの方が応答品質が安定してる。悩む。

[名無しさん]

ローカルで完結するのは安心。API経由だとコード丸見えになるし、企業利用なら尚更。

[名無しさん]

このモデル、HuggingFaceで落としたら結構なサイズだった。8Bとはいえ量子化必須か。

[名無しさん]

量子化の際にGGUF形式で使うと便利。llama.cpp対応してるから導入楽。

[名無しさん]

Redditのコメント見てると、コーディングエージェントに使ってる人が多いね。自分も試したい。

[投稿者]

投稿