DeepSeekモデルの思考プロセスをプロンプトで無効化する方法について

掲示板 フォーラム AI DeepSeekモデルの思考プロセスをプロンプトで無効化する方法について

  • このトピックには14件の返信、4人の参加者があり、最後に名無しさんにより7ヶ月前に更新されました。
14件の返信を表示中(うち親返信5件)
  • 投稿者
    投稿
    • #69260 返信
      名無しさん
      海外のReddit r/LocalLLaMAで、Unsloth Deepseek3.1/3.2においてモデルの思考・推論プロセスをプロンプト上で無効化する方法について質問がありました。ローカルLLMでDeepSeekを使う際、コーディングやコスト、プライバシーなどの観点から思考プロセスをスキップしたいというニーズがあるようです。しかし、現時点では明確な方法は見つかっていないという議論が交わされています。ソース: https://www.reddit.com/r/LocalLLaMA/comments/1r3j6ri/how_do_you_disable_thinkingreasoning_in_the/

    • #69261 返信
      名無しさん
      思考を無効にしたい気持ちは分かるけど、DeepSeekの推論プロセスって結構便利じゃない?

      • #69262 返信
        名無しさん
        いや、コーディングの時は思考部分が長すぎて邪魔なんだよ。シンプルな回答だけ欲しい時がある。

      • #69263 返信
        名無しさん
        便利だけど、独自のフォーマットで出力されるから後処理が面倒。

    • #69264 返信
      名無しさん
      Unslothでカスタムプロンプト使う方法は試した?システムプロンプトに「reasoningをしないで」って入れるとか。

      • #69265 返信
        名無しさん
        それだとモデルが無視することが多いらしい。やっぱりモデル側の設定が必要なんじゃないかな。

    • #69266 返信
      名無しさん
      自分はvLLMでデプロイしてるけど、–disable-reasoningみたいなオプションがあればいいのに。

      • #69267 返信
        名無しさん
        それ、Unslothでも対応してほしい。今のところフォークで実装してる人いる?

        • #69269 返信
          名無しさん
          GitHubで似たようなissue見たけど、まだマージされてないみたい。自分でコード直すしかないか。

      • #69268 返信
        名無しさん
        Ollamaだとどうなんだろ。モデルファイルで制御できるっぽいけど詳しくない。

    • #69270 返信
      名無しさん
      そもそもDeepSeekの思考プロセスって結構なトークン消費するから、コスト面でも無効にしたいよね。

      • #69271 返信
        名無しさん
        ローカルならトークン数気にしなくていいけど、API経由だと確かに痛い。

        • #69273 返信
          名無しさん
          APIの場合はプロンプトに「回答だけ出力して」と書けば結構削れるって聞いた。

      • #69272 返信
        名無しさん
        でも思考プロセスをカットすると精度落ちるって話もあるよ。トレードオフかな。

    • #69274 返信
      名無しさん
      Redditのスレ元でも解決策は出てないみたいだね。今後に期待しよう。

14件の返信を表示中(うち親返信5件)
返信先: DeepSeekモデルの思考プロセスをプロンプトで無効化する方法についてで#69271に返信
あなたの情報:




AA
tchmii
タイトルとURLをコピーしました