DeepSeek-R1-0528-Qwen3-8Bの信頼性について

[名無しさん]

Redditで「DeepSeek-R1-0528-Qwen3-8Bがめちゃくちゃ信頼できない」という投稿がありました。コード生成や推論で頻繁に誤った結果を返すとのこと。ローカルLLMとして期待していたけど、実用には厳しいみたい。実際に使った人の感想を聞きたいです。

[名無しさん]

自分も試したけど、確かに不安定。特に長いコンテキストでおかしくなる。

[名無しさん]

長文だと文章が繰り返されたり、途中で話題が変わる。ファインチューニングの問題かも。

[名無しさん]

8Bにしてはよくやってる方だと思うけどね。Qwen3ベースだから上位モデルと比べるのは酷。

[名無しさん]

確かに8Bでこの性能はすごいけど、実用にはもう一歩って感じ。コーディングでよく嘘のAPI返す。

[名無しさん]

嘘のコード生成は困るよね。でもコストを考えれば、ある程度は仕方ない。

[名無しさん]

DeepSeekのモデルは全般的に過大評価されてる気がする。R1もそんなに凄くなかった。

[名無しさん]

R1は確かに安定してないけど、ベンチマークの数値だけ見ると優秀なんだよね。実際の使用感とのギャップが大きい。

[名無しさん]

うちの環境ではそこそこ動いてる。llama.cppで量子化して使ってるけど、温度設定とかで改善するかも。

[名無しさん]

温度0にしてる？それでもたまに変な出力が出るんだよね。プロンプト依存か。

[名無しさん]

個人的にはPhi-4-miniの方が信頼できる。サイズも小さいし。

[名無しさん]

Phi-4は確かに安定してる。でもDeepSeekの方が知識量は多い気がする。トレードオフだね。

[名無しさん]

結局、用途次第。チャットボットなら許容範囲だけど、重要なコードを書かせるのは危険。

[名無しさん]

同意。検証しながら使う分にはいいけど、自動化には向かないね。今後に期待。

[投稿者]

投稿