QwenやDeepSeekの思考部分を非表示にする方法

[名無しさん]

Redditのr/LocalLLaMAで「How to not print the Thinking part of Qwen, deepseek?」という投稿がありました。QwenやDeepSeekのモデルを使っていると、回答の前に「Thinking…」という思考過程が出力されることがあります。これを非表示にする方法についての質問です。いくつかのコメントでは、`–no-think`オプションやプロンプトに「思考を出力しないで」と追加する方法が提案されていました。皆さんはどうやって対処していますか？

[名無しさん]

自分も気になってた。llama.cpp使ってるけど、-no-think的なオプションある？

[名無しさん]

llama.cppだと今のところ標準ではなさそう。プロンプトで「出力は答えだけ」って指定するのが簡単かな。

[名無しさん]

DeepSeekのAPI使うときはパラメータに`thinking=false`みたいなのがあるよ。ただローカルだと自分でコード書かないといけないかも。

[名無しさん]

APIの場合は楽だけど、ローカルでも同じ方法が使えるなら教えてほしい。

[名無しさん]

正直思考過程が見えるの好きだけどな。デバッグに役立つし。

[名無しさん]

Ollamaで使ってるけど、デフォルトでは思考部分が出ないモデルもあるよ。設定次第かも。

[名無しさん]

OllamaのModelfileでTEMPLATEいじれば制御できるって聞いた。まだ試してないけど。

[名無しさん]

VLLM使ってる人いる？あれだとストリーミングの時に思考部分が混ざるんだよね。

[名無しさん]

vLLMだと`–disable-thinking`みたいなフラグがあるってドキュメントに書いてあったよ。確認してみて。

[名無しさん]

そもそも思考部分を出したくない理由って何？単に表示が邪魔なだけ？

[名無しさん]

API経由で他のアプリに渡すときに、余計な文字列が入ると処理が面倒だからだと思う。

[名無しさん]

Hugging Faceのtransformersだと、`model.generate()`の引数に`output_thinking=False`を追加すれば消えるって情報を見た。試した人いる？

[名無しさん]

試したけど、モデルによっては無視されることもあるみたい。やっぱりプロンプトで強制するのが確実かも。

[名無しさん]

このスレ、役立つ情報多いね。自分はプロンプトに「答えだけを返してください」って入れるようにしたらうまくいった。

[名無しさん]

それってモデルによって効果が違わない？Qwenだとたまに無視されることある。

[名無しさん]

将来的には標準でオプションが増えるといいね。特にローカル環境では細かい制御がまだまだ難しい。

[名無しさん]

そうそう、コミュニティがスクリプトやパッチを作ってくれるのを期待してる。

[投稿者]

投稿