DeepSeek R1 Distill Qwen3、幻覚が多いって話

[名無しさん]

「deepseek r1 distill qwen3 Hallucinating too much」という投稿がありました。DeepSeek の蒸留モデルが幻覚を起こしやすいという話題です。

[名無しさん]

これ、自分も試したけど確かに幻覚多いわ。特に事実確認系でよく間違える。

[名無しさん]

蒸留モデルってどうしても元モデルの性能落ちちゃうよね。

[名無しさん]

Qwen3ベースの蒸留ってのがまた微妙なのかも。

[名無しさん]

Qwen3自体もそんなに良くないしな。

[名無しさん]

R1の蒸留版はみんな幻覚多いって聞く。オリジナルR1はすごいのに。

[名無しさん]

オリジナルR1は大きすぎてローカルでは動かせないからな…。

[名無しさん]

こういう話題が出ると、やっぱりローカルLLMはまだまだって思う。

[名無しさん]

でも用途によるよ。コード生成とかは結構使える。

[名無しさん]

コード生成も幻覚で変な関数作ることあるけどなw

[名無しさん]

DeepSeekは中国のモデルだからデータセットに偏りがあるって説もある。

[名無しさん]

それで幻覚が起きやすいとか？

[名無しさん]

可能性はあるね。学習データが限られてるとか。

[名無しさん]

個人的にはLlama3.1の方が安定してる気がする。

[名無しさん]

Llama3.1は確かにバランス良い。でもDeepSeekはコスト面で魅力的。

[名無しさん]

蒸留モデルって精度と速度のトレードオフだよね。

[名無しさん]

そうそう、速いけど賢くないっていう。

[名無しさん]

Redditのコメントでも「temperature下げろ」ってアドバイスあったけど、それでも幻覚は減らない。

[名無しさん]

temperatureだけじゃどうにもならない問題だよね。

[名無しさん]

プロンプト工夫するとか？

[名無しさん]

少しはマシになるけど根本的解決にはならん。

[名無しさん]

こんなに話題になるってことはそれだけ使われてるってことだな。

[名無しさん]

確かに。無料で使えるし、ローカルで動かせるのも大きい。

[名無しさん]

次のバージョンで改善されることを祈る。

[名無しさん]

DeepSeekはアップデート頻繁だから期待できるかも。

[投稿者]

投稿