DeepSeek v4 Proのベンチマークわずか8%通過ってマジ？性能やコスパを語るスレ

[名無しさん]

Reddit r/LocalLLaMAで話題のDeepSeek v4 Pro、DeepSWEベンチマークで通過率8%と厳しい結果が出たようです。コード生成に特化したモデルですが、実際の使用感はどうなのか？コストパフォーマンスやデータプライバシーの観点も含めて、皆さんの意見を聞かせてください。ソース: https://www.reddit.com/r/LocalLLaMA/comments/1tsse9i/deepswe_benchmarks_indicate_that_deepseek_v4_pro/

[名無しさん]

8%って低すぎない？他のモデルと比較してどうなの？

[名無しさん]

そもそもDeepSWEってどんなベンチ？コード生成の実務に近いのか？

[名無しさん]

聞いた話だと、エンドツーエンドのソフトウェアエンジニアリングタスクらしい。結構リアルなテストみたい。

[名無しさん]

じゃあその8%ってかなり深刻だな。他のモデルはどれくらいなんだろう。

[名無しさん]

ClaudeとかGPT-4oはもっと高いらしいけど、料金がね…

[名無しさん]

ローカルで動かせるモデルとしてはまだマシな方かと思ってたけど、これじゃ厳しいな。

[名無しさん]

でもコストゼロで動かせるメリットは大きい。プライバシーも守れるし。

[名無しさん]

それな。業務で機密コード扱うならAPI経由は避けたいし。

[名無しさん]

8%って数字だけ見るとやばいけど、実際に使ってみたら意外と役立つ場面もあるかも。

[名無しさん]

俺も試してみたけど、簡単な関数生成ならそこそこ使える。複雑なのは無理。

[名無しさん]

やっぱりベンチマークと実用は乖離があるよね。

[名無しさん]

DeepSeekってV3の頃もそんな感じだったから、V4で改善されるかと思ったのに。

[名無しさん]

V3よりはマシって話も聞くけど、このベンチだと逆転してない？

[名無しさん]

そもそもベンチマークの設計がDeepSeekに不利な可能性もある。

[名無しさん]

それも考えられるね。でも他のモデルも同じ条件なら公平では？

[名無しさん]

個人的にはコスパ重視だから、無料で動くなら多少の性能低下は許容する。

[名無しさん]

同意。仕事で使うには辛いけど、個人プロジェクトには十分。

[名無しさん]

代替案としてQwenとかYiのコードモデルはどうなの？

[名無しさん]

Qwen2.5-Coderは結構良いって評判。DeepSeekよりマシかも。

[名無しさん]

でもQwenも中国製だからデータプライバシーは同じようなもんじゃない？

[投稿者]

投稿