DeepSeek-V3.2のGGUF版でタグが消える問題

[名無しさん]

/投稿された DeepSeek-V3.2 の Unsloth GGUF モデルを llama-server で動かした際、Open WebUI 上で先頭の タグが欠落するという報告をまとめました。モデル自体は動作するが、思考プロセスが表示されないためデバッグに困っているとのこと。ローカルLLMのファインチューニングや推論周りの細かい挙動に詳しい方、同様の経験がある方の意見を聞きたいです。

[名無しさん]

自分も全く同じ現象が出てた。llama-server のパラメータか何かで制御できるのかな？

[名無しさん]

タグが消えるのはUnslothのGGUF変換時の問題かもしれない。変換オプションを見直してみると良いかも。

[名無しさん]

DeepSeekのR1系はが重要だから、これは致命的だね。Open WebUI側のフォーマット設定も疑ってみるべき。

[名無しさん]

Open WebUIのテンプレート機能で強制的にを挿入するスクリプトを書いて回避してる。いまいちだけどとりあえず動く。

[名無しさん]

そういえばllama.cppの最近のコミットで 関連の修正が入ってたような。バージョンアップ試した？

[名無しさん]

最新のllama.cppにアップデートしたら直ったよ。ただしほかにも互換性問題が出たけど。

[名無しさん]

GGUFじゃなくて元のHugging Faceモデルから直接使うほうが安定してるんじゃないかな。サイズは大きいけど。

[名無しさん]

メモリ制限があるからGGUFじゃないと厳しいんだよね。量子化も含めて簡単なのが良い。

[名無しさん]

UnslothのGGUF変換って結構特殊なオプションが多くて、デフォルトだと変なことになることがある。自分は–add-bos-tokenとか試してみてる。

[名無しさん]

あ、それ効くかも。タグはBOSの後にあるから、BOSトークンが原因で消えてる可能性。

[名無しさん]

この問題、自分も遭遇して結局llama-serverをやめてvLLMに乗り換えた。vLLMなら問題なし。

[名無しさん]

vLLMはGPUメモリ多く食うからなあ。でも安定性重視ならありかも。

[名無しさん]

皆さんどんな量子化ビット使ってる？自分はQ4_K_Mでやってるけど、の有無に関わらず回答品質は悪くない。

[名無しさん]

Q8_0のほうが思考がはっきり出る気がする。ただしサイズ2倍。トレードオフ。

[名無しさん]

ローカルでDeepSeekを動かすなら、素直に公式のollama使うのが楽。GGUFだとハマりポイント多い。

[名無しさん]

ollamaもバージョンによっては同じ問題あったよ。モデル側の問題かもしれん。

[名無しさん]

結局、llama-serverの–no-escape-special-tokens オプションで直ったって話をどこかで見た。試す価値あり。

[投稿者]

投稿