DeepSeek V3.2 Speciale：大学院レベルの問題は解けるのに、高校代数でつまずくってどういうこと？

[名無しさん]

Redditのr/LocalLLaMAで話題になっているDeepSeek V3.2 Specialeの話です。このモデル、大学院レベルの難しい問題は解けるのに、なぜか高校の代数でミスをするという報告がありました。
ローカルLLMユーザーの間でも「ベンチマークの限界か？」「訓練データの偏りでは？」と議論になっています。みなさんのご意見をどうぞ。

[名無しさん]

これあるあるだよね。LLMって特定のパターンには強いけど、基礎的な論理で抜けがある。

[名無しさん]

そうそう、訓練データに論文が多いから、そういう問題は得意だけど、中学数学みたいなのは苦手なんだろうな。

[名無しさん]

むしろ大学院レベルが解けるってすごくない？高校代数は単純な計算ミスみたいなものかも。

[名無しさん]

でも「Special版」って謳ってるのに、基本ができてないのはちょっと…。

[名無しさん]

ベンチマークの選び方にも問題あるよね。実際のユースケースではもっとバランスが大事。

[名無しさん]

そう、MATHとかGSM8Kはある程度できるけど、自由形式の代数問題は別問題らしい。

[名無しさん]

ローカルで動かすには重すぎるし、コスパも微妙って話もあるね。

[名無しさん]

でもDeepSeekはAPI安いから、そこは評価できる。プライバシー気にする人はローカル一択だけど。

[名無しさん]

高校代数でつまずくって、もしかしてプロンプトが悪いだけじゃない？

[名無しさん]

それもあるかも。でもRedditの人はいろいろ試してダメだったって言ってたよ。

[名無しさん]

こういう報告って結構あるから、AIの「賢さ」ってまだまだ不完全だなと思う。

[名無しさん]

同感。特にコーディング系だと、ライブラリの使い方は完璧なのに、簡単なループでミスったりする。

[名無しさん]

まあ、人間も同じようなことあるしね。専門バカみたいなものか。

[名無しさん]

それにしても、DeepSeekは中国のモデルだから、データセットに偏りがある可能性も否めない。

[投稿者]

投稿