Deepseek v4 flash を大規模コード変更評価でテスト、精度がすごいらしい

[名無しさん]

Redditのr/LocalLLaMAで、Deepseek v4 flashを大規模コード変更の評価（evals）でテストしたという投稿がありました。投稿者によると、ツール使用精度（tool use accuracy）が非常に高く、特にコード変更のタスクで優秀だったとのこと。コメントでは、コストパフォーマンス、プライバシー面、他のモデルとの比較、ローカル実行の可否などが議論されています。URL:

[名無しさん]

これ本当ならすごいね。コード生成系のタスクでDeepseekは結構強いって噂は聞いてたけど。

[名無しさん]

確かに。ただ、Redditの投稿だけだと信頼性が微妙かも。自分でも試してみたいけど、API代が…。

[名無しさん]

ローカルで動かせる版が出たらすぐ試すんだけど、まだv4 flashはAPI限定？

[名無しさん]

確かv4 flashはまだWeb検索機能とかツール連携に特化してるバージョンだとか。ローカルよりクラウド向けかも。

[名無しさん]

実際に大規模なコードベースで使ってみないと評価できないよね。小さいサンプルだけだと疑問が残る。

[名無しさん]

でもツール使用精度ってどうやって測ってるんだろう？ベンチマークの詳細が気になる。

[名無しさん]

SWE-benchとか使ったのかな？コード変更の評価っていうとそういうのを想像する。

[名無しさん]

SWE-benchって最近話題だけど、あれも完璧じゃないしね。過信は禁物。

[名無しさん]

前にV3使ったけど結構良かったから、V4 flashも期待してる。コスパ良いし。

[名無しさん]

V3と比べてどのくらい変わったんだろう。ベンチマークスコアだけじゃなくて実用感が知りたい。

[名無しさん]

自分はClaude派だけど、Deepseekも気になってる。コスト面だと圧倒的だしね。

[名無しさん]

Claudeもいいけど、コード率いるならDeepseekの方が特化してる感じがする。用途次第だね。

[名無しさん]

プライバシー面でローカルLLMを推してる身としては、Deepseekの中国企業って部分が引っかかる。でも性能は認める。

[名無しさん]

そこは確かに。でもローカルで動かせるオープンウェイト版が出れば、プライバシー問題も回避できるかも。

[投稿者]

投稿