DeepSeek 3.2がllama.cppサーバーで先頭のthinkタグを食ってしまう現象

[名無しさん]

Reddit r/LocalLLaMAから話題になっているDeepSeek 3.2のバグについて。llama.cppサーバーで使用すると、出力の先頭にあるべきタグが消えてしまうらしい。これはモデル側の問題か、サーバー実装の問題か議論になっている。他にもDeepSeekモデルのローカル運用、コスト、プライバシー、ベンチマーク比較などの話題も。元スレ: https://www.reddit.com/r/LocalLLaMA/comments/1sqgyy7/deepseek_32_eating_the_opening_think_tag_on/

[名無しさん]

これ、自分も再現した。タグがないと推論過程が省略されてるみたいで困る。

[名無しさん]

再現したって人結構いるみたいね。DeepSeek側のアップデート待ちかも。

[名無しさん]

llama.cppのバージョンは？自分は最新のnightlyで直った気がする。

[名無しさん]

試してみる。ありがとう。でも他のモデルでは出ないからモデル固有っぽい。

[名無しさん]

DeepSeek 3.2、コーディング性能はいいけどこういう細かいバグがね…

[名無しさん]

でもオープンでここまでできるのはすごいと思う。コスパ最強。

[名無しさん]

プライバシー重視でローカル運用してる身としては、安定性が気になる。

[名無しさん]

その点llama.cppはよく頑張ってる。でもバグ報告はちゃんと上げたほうがいいね。

[名無しさん]

ベンチマークではどうなの？Qwenとかと比べて。

[名無しさん]

自分は数学とコーディングでDeepSeekが優勢だけど、日本語はQwenのほうがいいかも。

[名無しさん]

日本語特化ならやっぱりELYZAとか？でもコスト考えるとDeepSeekは魅力。

[名無しさん]

thinkタグ問題、自分は対策としてプリプロンプトで強制してる。

[名無しさん]

それだと出力が安定する？ちょっと試してみるわ。

[名無しさん]

llama.cppのissueにも上がってる？見てみよう。

[名無しさん]

上がってるよ。でもスルーされてるっぽい。もっと声を上げたほうがいいかも。

[名無しさん]

とりあえずこのスレ参考になる。ありがとう。

[名無しさん]

自分はDeepSeekのコード生成はかなり使えると思ってる。バグさえ直れば最高。

[名無しさん]

確かに。でも最近のアップデートでまた変わったりするから油断できない。

[投稿者]

投稿