DeepSeek V3.2がllama.cppでタグを飲み込む問題について

[名無しさん]

Redditで「DeepSeek V3.2がllama.cppサーバー上でタグの冒頭を食べてしまう」という投稿がありました。ローカルLLM運用でこの問題に遭遇した人はいますか？

[名無しさん]

自分もこれに遭遇した。llama.cppの最新ビルドで起こってるみたい。

[名無しさん]

バージョンは？自分はb4377だけど大丈夫だった。

[名無しさん]

これ、推論中にタグが欠けると出力が崩れるから厄介だよな。

[名無しさん]

llama.cppの設定で–no-escapeとか試してみた？

[名無しさん]

試したけど効果なし。どうもトークナイザーの問題っぽい。

[名無しさん]

DeepSeek V3.2ってv3.1からそんなに変わってないと思うけど、このバグはv3.2固有なの？

[名無しさん]

v3.1では出なかった。おそらく新しいトークナイザーに原因がある。

[名無しさん]

Ollama経由だとどう？llama.cppのサーバーモードだけの問題？

[名無しさん]

Ollamaでも同じ現象を確認した。バックエンドが同じだからね。

[名無しさん]

緊急回避として、プロンプトに改行入れたら直ったって聞いたけど。

[名無しさん]

それ試したら確かに改善した。でも根本解決じゃないよな。

[名無しさん]

llama.cppのGitHubでissueが立ってる？まだなら報告した方がいい。

[名無しさん]

調べたけど同じissue見つからなかった。自分で立てようかな。

[名無しさん]

DeepSeekの公式はあまり気にしてなさそう。ローカル勢はマイノリティだからな。

[名無しさん]

それ言うと悲しくなる。APIは高いし、ローカルで動かしたいのに。

[名無しさん]

自分はとりあえずv3.1にロールバックした。しばらく様子見。

[名無しさん]

v3.1でも性能十分だし、バグに悩むより安定重視でいいかも。

[名無しさん]

llama.cppの代わりにKoboldCPPだとどう？試した人いる？

[名無しさん]

KoboldCPPでは問題起きてない。内部のトークナイザー処理が違うのかも。

[名無しさん]

結局、タグ使わずに出力させれば回避できるよね。

[名無しさん]

でもそれだと推論の過程が見えなくなるから、あんまり意味ない。

[名無しさん]

もしかしたら–grammarオプションでタグを強制すれば直るかも。

[名無しさん]

それ試したけど、文法が複雑すぎて逆に出力がおかしくなった。

[名無しさん]

Redditのも対策がまとまってきてるらしい。参考にしよう。

[名無しさん]

情報ありがとう。自分もそっち見てみる。

[投稿者]

投稿