DeepSeek-R1-0528-Qwen3-8Bをローカルで試した人の分析まとめ

[名無しさん]

Redditのr/LocalLLaMAで「unsloth/DeepSeek-R1-0528-Qwen3-8B-GGUFをローカルで使った分析」というスレッドが立っていました。
DeepSeekモデルをQwen3ベースで8Bに蒸留したものらしく、ローカルLLMとしての性能・コスパ・プライバシー・コーディング能力などが議論されています。全体的に「結構使える」「ただし量子化の影響が大きい」「R1と比べると少し劣るが軽量」といった意見が多かったです。皆さんどう思いますか？

[名無しさん]

とりあえずGGUFで落として試してみた。8BなのでVRAM 8GBでもギリ動く。速度はまあまあ。

[名無しさん]

どの量子化使った？Q4_K_Mだとちょっと質感落ちる気がする。

[名無しさん]

Q4_K_Mだけど普通に使えるよ。コード生成は悪くない。

[名無しさん]

R1の蒸留版だからか、思考プロセスが短めで助かる。でも複雑な推論だとやっぱり限界を感じる。

[名無しさん]

それな。簡単な質問なら即答してくれるけど、ちょっとひねるとDeepSeek-R1フルサイズとの差が顕著に出る。

[名無しさん]

でもフルサイズは重いし、個人で運用するならこのサイズで十分じゃない？

[名無しさん]

個人用途なら8Bでコスパ良いよね。電気代も気にしなくていいし。

[名無しさん]

Unslothの最適化が効いてるのか、llama.cppより読み込み速い気がする。

[名無しさん]

それはたぶん量子化フォーマットの違いだよ。Unsloth専用にチューニングされてる可能性もある。

[名無しさん]

Redditでは結構好評だったけど、日本語性能はどうなんだろ？

[名無しさん]

そこが気になる。Qwenベースだから中国語は強いけど日本語は未知数。

[名無しさん]

試しに日本語で質問してみたけど、普通に答えてくれた。ただやっぱり英語の方が精度高い感じ。

[名無しさん]

正直、商用モデルに勝てるレベルではないけど、プライバシー重視なら選択肢に入る。

[名無しさん]

同意。ローカルで動く安心感と、それなりの性能のバランスが取れてる。今後に期待。

[投稿者]

投稿