DeepSeek R1のAPIパラメータについての質問

[名無しさん]

Redditのr/LocalLLaMAでDeepSeek R1のAPIパラメータに関する質問が投稿されていました。具体的には、temperatureやtop_p、max_tokensなどの設定値や、パフォーマンスへの影響について議論されています。URL:。このモデルをローカルで動かす場合とAPI経由での違いについても気になるところですね。皆さんの設定や経験を教えてください。

[名無しさん]

自分はtemperature0.7、top_p0.9で使ってる。結構安定してるよ。

[名無しさん]

その設定だとクリエイティブな応答になる？それとも事実ベース？

[名無しさん]

事実ベースのタスクなら低めのtemperatureがいいと思う。0.3くらいで試してる。

[名無しさん]

APIのコストが気になるな。ローカルで動かせるならそっちの方がいいかも。

[名無しさん]

DeepSeekって中国のモデルだよね。プライバシー的に大丈夫なのかな。

[名無しさん]

OSSだから自分でホストすれば問題ないよ。APIは確かに気になるけど。

[名無しさん]

max_tokensはやっぱり2048くらい？もっと長くしたい時もあるけどコストが…

[名無しさん]

長文生成なら4096にしてる。でも料金が倍になるから用途によるね。

[名無しさん]

ベンチマーク見るとR1は数学やコードで強いんだって。APIのパラメータでその性能変わるのかな？

[名無しさん]

多分変わらないよ。パラメータは出力の多様性に影響するだけ。

[名無しさん]

でも精度に関わる場合もあるらしいよ。特にtop_pは重要。

[名無しさん]

ローカルで動かすなら量子化モデルが気になる。APIのパラメータと関係ないけど。

[名無しさん]

Q4_K_Mで動かしてる。結構使えるよ。APIより遅いけど。

[名無しさん]

APIのパラメータを調整するためのベストプラクティスとかないのかな。とりあえずデフォルトでいいのか？

[投稿者]

投稿