DeepSeek R1-0528の非推論モード実行は可能？

[名無しさん]

Redditの 「DeepSeek R1-0528を推論モードなしで動かせるか？」というスレッドが立ってました。:。コメントでは、モデルの改造や量子化、API経由の方法など様々な意見が交わされていました。ローカルLLM界隈では定番の話題ですが、実際に試した人の声を聞きたいです。

[名無しさん]

自分も試してみたけど、普通に推論モード切ってロードできたよ。configのtemperatureとか調整すればいける。

[名無しさん]

詳細教えてくれ。具体的にどうやった？

[名無しさん]

HuggingFaceのコードでtrust_remote_code=Falseにするだけ。ただしchain-of-thoughtは出なくなる。

[名無しさん]

マニュアルの改変が必要そうだな。ローカルでやるならGGUF版を試すのが早い。

[名無しさん]

モデル自体が推論用に最適化されてるから、非推論だと性能落ちない？

[名無しさん]

ベンチマークでは数%低下って話。コスト削減にはなるかも。

[名無しさん]

意味あるの？推論モードが売りなのに。

[名無しさん]

Redditのスレでも議論あったけど、API使うならプロンプトで抑制できるらしいよ。

[名無しさん]

それって結局推論は走ってるんじゃないの？

[名無しさん]

表面だけ隠してる可能性ある。実質無駄かも。

[名無しさん]

個人的には推論ありで使ってるけど、非推論版が公式から出れば需要あると思う。

[名無しさん]

DeepSeekは中国企業だし、公式のサポートはあてにならん。オープンコミュニティ頼み。

[名無しさん]

VLLMとかでデプロイするときに推論切るフラグあるらしい。試す価値あり。

[名無しさん]

ミスリードしないでほしい。実際のベンチの数字見てから言え。

[名無しさん]

まあ落ち着け。両方試して比べるのが吉。

[投稿者]

投稿