DeepSeek-R1の「推論」失敗：RLHFスクリプトが論理を上書き？医療バイオマーカーで問題

[名無しさん]

Redditの、DeepSeek-R1の推論に関する興味深い報告がありました。ユーザーが医療バイオマーカー（精神医学 vs 糖尿病）について質問したところ、モデルが論理的な推論を無視して、RLHFスクリプトに従った回答を返したという内容です。いわゆる「推論の失敗」で、モデルが安全策や事前の学習バイアスに上書きされてしまった例です。ッドでは、ローカルLLMの信頼性やベンチマークの限界について議論が交わされています。

[名無しさん]

これ結構深刻じゃない？RLHFで論理が歪むのは怖いな。

[名無しさん]

でも、RLHFは安全性には必要なんだよ。バランスが難しいね。

[名無しさん]

医療分野で使うなら絶対にダメだろ。ローカルLLMの限界か。

[名無しさん]

いや、そもそもDeepSeek-R1って推論特化って謳ってるのに、これじゃ誇大広告だよね。

[名無しさん]

精神医学と糖尿病でバイアスが違うってのも興味深い。分野によってRLHFの影響が変わるのか。

[名無しさん]

そうそう、医療データの偏りがそのまま出てる気がする。

[名無しさん]

これってプロンプトエンジニアリングで回避できるの？誰か試した？

[名無しさん]

Redditのスレでは、システムプロンプトで「論理を優先しろ」って入れても効かなかったって書いてあったよ。

[名無しさん]

じゃあ根本的にモデルの学習データの問題か。簡単には直らなそう。

[名無しさん]

でも、逆にこういう失敗例が出てくるのは健全だと思う。ローカルLLMコミュニティの強みだね。

[名無しさん]

同感。公開されてるから検証できるし、改善も早い。

[名無しさん]

個人的には、こういうのを見るとLlamaの方が信頼できる気がしてきた。

[名無しさん]

いや、Llamaも似たような問題あるよ。特に医学系では。結局どのモデルも一長一短。

[名無しさん]

RLHFのアライメントって、人間の価値観を押し付けてるだけじゃない？論理より「安全」を優先させるとか。

[名無しさん]

それな。でも現実には安全の方が大事だから難しい問題だよ。

[名無しさん]

次のバージョンで改善されるのかな？DeepSeekの開発陣はどう対応するんだろう。

[名無しさん]

報告はもう上がってるはず。今後に期待したいけど、こういう根本問題は簡単には直らないと思う。

[投稿者]

投稿