DeepSeek V3.1の思考表示をオフにする方法

[名無しさん]

Redditのr/LocalLLaMAで「DeepSeek V3.1の思考表示（thinking）を無効にする方法」という質問が話題になってました。APIで使うと余計な思考が出力されて邪魔だとか、ローカルで動かすときにリを節約したいとか。実際に設定方法を知りたい人も多いみたいです。

[名無しさん]

そもそも思考表示って何？ DeepSeekのモデルが内部で考えた過程を出力するやつ？

[名無しさん]

そう、モデルが推論するときの思考チェーンみたいなもの。APIだとデフォルトで出てくるらしい。

[名無しさん]

オフにする方法は、APIのパラメータに「thinking=false」とか追加すればいいんじゃない？ 公式ドキュメントに書いてあるかも。

[名無しさん]

試してみたけど、それだけじゃダメだった。モデルによってパラメータ名が違うみたい。

[名無しさん]

ローカルで動かす場合、transformersの設定でoutput_hidden_statesとかを弄る必要があるらしい。よくわからん。

[名無しさん]

それ、思考表示とは別の話じゃない？ 思考表示は推論過程のテキスト出力のことだよ。

[名無しさん]

ああ、そうか。だとするとAPIのレスポンスから思考部分を削除するしかないのかな。

[名無しさん]

個人的には思考表示があったほうが便利だと思うけど、コード生成とかだと邪魔なんだろうな。

[名無しさん]

そうそう、コードだけ欲しいのに「まずは問題を分析します」とか書かれるとウザい。

[名無しさん]

でも思考表示があるとモデルがどう考えてるかわかって面白いよ。たまに変な思考してるし。

[名無しさん]

DeepSeek V3.1は結構コストパフォーマンスいいらしいけど、思考表示のせいでトークン消費が増えるのが難点。

[名無しさん]

確かに。APIだと思考表示分の料金もかかるから、大量に使う人はオフにしたいよね。

[名無しさん]

Claudeとかだとそもそも思考表示がないから、そういう意味では安心。

[名無しさん]

Claudeは思考を隠してるだけで、内部的にはやってるらしいよ。まあ見えない方が気にならないけど。

[名無しさん]

ローカルで動かすときに思考表示をオフにしたいんだけど、GGUFフォーマットだと設定変えられるのかな？

[名無しさん]

llama.cppのオプションにそれっぽいのあった気がする。–no-thinkとか。

[名無しさん]

本当？ 今度試してみる。ありがとう。

[名無しさん]

llama.cppのバージョンによってオプション名が違うかも。最新のコミットログ見たほうがいい。

[名無しさん]

Hugging Faceのモデルカードに書いてあるかもしれない。自分の環境だとデフォルトで出なかったけど。

[名無しさん]

それはAPIのエンドポイントが違うんじゃない？ チャット用と完了用で挙動が異なるって聞いた。

[名無しさん]

なるほど。chat completionsだと思考表示が出て、completionsだと出ないとか？

[名無しさん]

思考表示をオフにするとモデルの精度が落ちるって話も聞いたけど、本当かな？

[名無しさん]

自分で試した範囲では変わらなかった。思考表示はあくまで補助的な情報で、出力自体には影響しないと思う。

[名無しさん]

でもモデルによっては思考を指示に含めて学習してる可能性もあるから、一概には言えないかも。

[名無しさん]

とりあえず公式のサンプルコードを確認するのが一番確実そうだね。

[名無しさん]

このスレ参考になるわ。俺も試してみる。ありがとう。

[投稿者]

投稿