DeepSeek-R1-0528-Qwen3-8Bの最適設定について

[名無しさん]

RedditのLocalLLaMA板で、DeepSeek-R1-0528-Qwen3-8Bの最適設定についてのスレッドがありました。コード生成、コスト、プライバシー、ベンチマークなどの話題が出ていて、設定温度やtop_p、コンテキスト長、量子化などについて議論されています。: このモデルを使っている人、どんな設定がベストだと思いますか？

[名無しさん]

自分は温度0.6、top_p0.9で使ってる。コード生成は結構安定してる印象。

[名無しさん]

温度0.6は高いほうじゃない？自分は0.3にしてる。

[名無しさん]

温度0.3だと出力が硬すぎない？クリエイティブなタスクには0.7くらいがいいかも。

[名無しさん]

コード生成なら温度低めの方がいいよね。自分は0.2。

[名無しさん]

Qwen3-8BベースのR1ってことは、推論特化ってこと？

[名無しさん]

そうみたい。DeepSeekのR1シリーズは推論用で、Qwenベースらしい。

[名無しさん]

量子化はGGUFのQ4_K_Mが無難かな。

[名無しさん]

Q4_K_Mで動かしてるけど、精度は十分。8Bだからメモリも食わないし。

[名無しさん]

このモデル、DeepSeek-R1の改良版？それとも別物？

[名無しさん]

0528って日付だから、その時点のスナップショットだと思う。Qwen3ベースでファインチューンされてる。

[名無しさん]

ベンチマークではMATHとかGSM8Kで高いスコア出てるらしい。試してみたい。

[名無しさん]

でも8Bじゃ限界あるよ。もっと大きなモデルに期待。

[名無しさん]

ローカルで動かすには8Bくらいがちょうどいい。70Bは無理。

[名無しさん]

コスパ重視ならこれで十分。API使うよりプライベートだし。

[名無しさん]

確かに。でもDeepSeekのAPI自体が安いから、ローカルにこだわる必要ある？

[名無しさん]

プライバシー面でローカルの価値はあるよ。データ送りたくないし。

[名無しさん]

コンテキスト長はどれくらいまでいけるの？8K？

[名無しさん]

多分デフォルト4Kだけど、拡張可能らしい。試してないけど。

[名無しさん]

32Kとか無理でしょ。8Bに長文は荷が重い。

[名無しさん]

このスレのReddit元記事、コメント少なかったけど参考になる。

[名無しさん]

あの程度の情報ならここで十分。もっと詳しい人いるし。

[名無しさん]

rep_penaltyとかも設定したほうがいいのかな？

[名無しさん]

コード生成なら1.1くらいでいいと思う。チャットだと1.0。

[名無しさん]

細かい設定よりモデル自体の品質のほうが大事。

[名無しさん]

とりあえずllama.cppで動かしてるけど、問題なし。

[名無しさん]

Ollamaでも動くよ。設定楽でいい。

[投稿者]

投稿