DeepSeek v3.1のSWE-bench評価：Qwen 3 coderにわずかに及ばず

[名無しさん]

Redditのr/LocalLLaMAで、DeepSeek v3.1 chatを最小限のエージェントでSWE-bench verified上で評価したスレッドが立っていました。結果はQwen 3 coderにわずかに劣るという内容です。： 皆さんはどう思いますか？ローカルLLMのコーディング性能について意見を聞かせてください。

[名無しさん]

Qwen 3 coderが強いのはわかるけど、DeepSeekもなかなか健闘してるね。コスト面ではDeepSeekの方が安いし、用途次第かな。

[名無しさん]

確かにコストは重要。でもプライバシー重視ならローカルで動かせるモデルの方がいいよね。Qwen 3 coderは量子化で動かせるのかな。

[名無しさん]

Qwen 3 coderの量子化モデルは一応あるけど、DeepSeekの方が軽量で動かしやすい印象。

[名無しさん]

コストパフォーマンスならDeepSeek一択。個人開発者には嬉しい。

[名無しさん]

このベンチマークってエージェントの実装に依存しない？最小構成ってどのくらいのプロンプトを使ってるんだろう。

[名無しさん]

Redditのスレッドでもエージェントの設計次第で結果が変わるとか言ってたよ。単発のプロンプトじゃなくて、ツールを使った対話型ならまた違うかも。

[名無しさん]

対話型エージェントだとプロンプト設計の差が出やすい。この評価はあくまで一例として見たほうが良さそう。

[名無しさん]

SWE-benchって実用的なコード生成タスクだから、この差が実運用でどれだけ影響するか気になる。

[名無しさん]

実運用ではベンチマークの差よりも、応答速度や安定性の方が重要だと思う。DeepSeekはAPIも安定してるし。

[名無しさん]

個人的にはDeepSeek v3.1の日本語性能が気になる。コーディング以外の用途でも使いたい。

[名無しさん]

Qwen 3 coderの方が新しいから当然の結果かも。でもDeepSeekもアップデートで追い上げてくるだろうね。

[名無しさん]

確かにバージョンアップが楽しみ。オープンな競争はいいね。

[名無しさん]

SWE-bench verifiedってpass@1のスコア？それともpass@k？細かい条件が気になる。

[名無しさん]

pass@1だったはず。コメント見るとそう書いてあった。

[名無しさん]

この手の評価はハードウェア依存も大きいから、自分の環境で試すのが一番だね。

[名無しさん]

DeepSeek v3.1の知識カットオフが最近だから、新しいライブラリとかのコード生成には強いかも。

[名無しさん]

とりあえず自分もローカルで試してみるわ。どっちもいいモデルだし。

[投稿者]

投稿