DeepSeek R1-0528-Qwen3-8Bが無限ツールループに陥る問題、対処法ある？

[名無しさん]

スレッドより。DeepSeekの「deepseek-r1-0528-qwen3-8b」を使っていると、無限にツールを呼び出し続けるループに陥るケースが報告されています。コード生成や推論中に特定のパターンで発生し、モデルの応答が止まらなくなるようです。他のユーザーからはコンテキスト長の制限や温度設定、システムプロンプトの調整など様々なワークアラウンドが提案されていましたが、決定的な解決策はまだ見つかっていない模様。ローカルLLMユーザーならではの悩みどころですね。実際に遭遇した方、何か対策をご存じですか？ ッド:

[名無しさん]

自分も同じ問題に遭遇した。ツール呼び出しの回数制限をかけるしかなかったよ。

[名無しさん]

回数制限って具体的にどうやって設定した？ API側でやったの？

[名無しさん]

俺はOllamaでmax_tokensとmax_tool_callsを設定したよ。でも根本解決にはならなかった。

[名無しさん]

温度を下げると改善したって話を聞いたけど、うちの環境では効果なかったな。

[名無しさん]

システムプロンプトに「ツールは最大3回まで」と明示したらマシになった人もいるみたい。

[名無しさん]

それ試してみるわ。うちのQwen3-8Bはコンテキスト長が短いとすぐ暴走する。

[名無しさん]

コンテキスト長8192だとダメだったから、16384に増やしたら少し落ち着いた。メモリ食うけど。

[名無しさん]

これ、モデル自体のバグじゃないの？ DeepSeek側のファインチューンが粗い気がする。

[名無しさん]

でも他のモデルでも似たような問題あるから、推論エンジンの問題かも。llama.cppのバージョン変えたら直ったって人居たよ。

[名無しさん]

llama.cppの最新コミットで修正されたってIssue見た気がする。もう少し待った方がいいかも。

[名無しさん]

自分はツールループ発生時に強制停止してプロンプトを修正してるけど、めんどくさい。

[名無しさん]

それ、手間だよね。自動で対策するスクリプト書いた人いないのかな。

[名無しさん]

Pythonで応答を監視して、ループ検出したら別のプロンプトに切り替えるツール作ったよ。需要ある？

[名無しさん]

ぜひ公開してほしい！ GitHubで見たい。

[名無しさん]

Redditのスレッドでも議論されてたけど、このモデルってR1の蒸留版でしょ？ そっちの品質に疑問。

[名無しさん]

蒸留モデルはこういう変な挙動が出やすいと思う。素のDeepSeek R1じゃ問題起きないって人もいる。

[名無しさん]

でもサイズ的にQwen3-8Bは手軽だからなあ。VLLMで動かしてるけど、やっぱりループする。

[名無しさん]

とりあえず今はGemma 3の27Bの方が安定してるからそっち使ってる。

[名無しさん]

確かにGemmaの方がツール系はマシかも。でも日本語性能はDeepSeekの方が上だと思う。

[名無しさん]

そうそう、日本語のコードコメントとか自然言語だとDeepSeekの方がいいんだよね。困ったもんだ。

[投稿者]

投稿