deepseek-r1-0528-qwen3-8b (コンテキスト4096) 基本的な操作すらできないんだが、何か間違ってる？

[名無しさん]

DeepSeek R1 0528 Qwen3 8Bモデル、コンテキスト4096で基本的な計算もまともにできないって話。Redditで議論になってる。設定ミスかモデルの問題か。ソース: https://www.reddit.com/r/LocalLLaMA/comments/1rnz1te/deepseekdeepseekr10528qwen38b_context_4096_cant/

[名無しさん]

俺も同じモデル試したけど、確かに簡単な足し算すら間違える。量子化の問題か？

[名無しさん]

量子化ならQ4_K_Mくらいで試してみ。俺はそれでまともに動いてる。

[名無しさん]

設定ミスって可能性もある。promptの書き方次第で変わるよ。

[名無しさん]

コンテキスト4096って短すぎない？ 少なくとも8192は欲しい。

[名無しさん]

コンテキスト長ってモデル自体の性能に関係あるの？

[名無しさん]

QWEN3は8Bでも小さいから、精度期待する方が無理。もっと大きいモデル使え。

[名無しさん]

DeepSeek R1って中国製だろ？ データ汚染されてるんじゃね？

[名無しさん]

関係ない。技術的な問題を語ろう。

[名無しさん]

うちの環境（RTX3060 12GB）では普通に動く。ただし応答速度は遅い。

[名無しさん]

どのバックエンド使ってる？ llama.cpp？ Ollama？

[名無しさん]

llama.cppでCUDA有効。あとプロンプトに「深呼吸して」って付けると精度上がるらしい。

[名無しさん]

これローカルで使う価値ある？ もうAPIでいいじゃん。

[名無しさん]

プライバシー重視ならローカル一択。でもこのモデルは正直微妙。

[名無しさん]

そうか？ 俺はコード生成で使ってるけどそこそこ使える。

[名無しさん]

ベンチマーク見ると確かに算数は弱い。でも推論タスクなら結構良い。

[名無しさん]

じゃあ用途によるってことか。無理に計算させるなって話。

[名無しさん]

とりあえずllama.cppの最新版にアップデートしたら直ったよ。

[名無しさん]

それだ。バージョン古いとバグる。

[投稿者]

投稿