DeepSeek V4の幻覚率の高さについて、設計への影響を議論しよう

[名無しさん]

Redditのr/LocalLLaMAでDeepSeek V4の幻覚率が非常に高いというスレッドが立っていました。
ローカルLLMとして使う場合、幻覚が多いと実用性に問題が出ますよね。コード生成や情報検索で誤った回答をされると困るし、設計面でも改善が必要だと思います。皆さんはどう思いますか？使ってみた感想や、他のモデルとの比較などあれば教えてください。

[名無しさん]

確かにDeepSeek V4は幻覚が多い印象。試しにコード生成させたら存在しない関数を平気で出力してた。

[名無しさん]

コード生成で幻覚は致命的だよね。自分はCodeLlamaに戻した。

[名無しさん]

関数名だけでなく、APIの仕様も間違えることがあるから注意が必要。

[名無しさん]

でもコストパフォーマンスは良いと思う。幻覚対策でプロンプト工夫すれば結構使える。

[名無しさん]

プロンプトでどこまで改善できるか試してるんだけど、やっぱり根本的な問題な気がする。

[名無しさん]

設計面では、ファインチューニングで幻覚を減らせるのでは？専門データセットで調整すればマシになるかも。

[名無しさん]

でもファインチューニングにはお金と時間がかかる。一般ユーザーにはハードル高い。

[名無しさん]

ローカルでやるなら実用的なサイズに抑えたいし、幻覚率の低いモデルを選びたいよね。

[名無しさん]

個人的にはLlama 3の方が安定してる。DeepSeekは日本語対応に期待してたけど幻覚がネック。

[名無しさん]

日本語対応は確かに魅力的だけど、幻覚が多いと信頼性に欠ける。他にいいモデルない？

[名無しさん]

ELYZAとかrinnaのモデルはどう？幻覚は少ないと思う。

[名無しさん]

プライバシー重視でローカルLLM使いたいけど、幻覚が多いと外部APIに頼らざるを得ない。難しい。

[名無しさん]

外部APIもプライバシーリスクあるしね。結局用途に合わせて使い分けるしかないのか。

[投稿者]

投稿