Claude Opus 4.7、ブラインド評価でOpus 4.6に69勝31敗、評価者はGPT-5.4、Gemini 3.1 Pro、DeepSeek…

[名無しさん]

Reddit r/LocalLLaMA からの話題です。Claude Opus 4.7 が Opus 4.6 に対して100回のブラインド評価で69勝したそうです。評価には GPT-5.4、Gemini 3.1 Pro、DeepSeek V3.2 が使われたとのこと。モデルの進化、評価手法の妥当性、各モデルの比較など、自由に議論してください。

[名無しさん]

へー、Claudeも着実に進化してるんだな。でも69%って微妙に感じる。

[名無しさん]

微妙？前バージョンから69%勝ち越しは結構大きいと思うけど。

[名無しさん]

評価者が他のAIってのが気になる。自己参照的なバイアスが入らないのかな。

[名無しさん]

確かに。でもブラインド評価ならある程度公平なんじゃない？

[名無しさん]

GPT-5.4ってまだ出てないはずだけど、テストモデル？

[名無しさん]

多分内部の評価用モデルだと思う。リーク情報かな。

[名無しさん]

DeepSeek V3.2が評価者として使われてるのが面白い。中国勢も力つけてる。

[名無しさん]

DeepSeekのコーディング能力は最近注目されてるしね。

[名無しさん]

100回の評価ってサンプル数足りてる？統計的に有意なのかな。

[名無しさん]

カイ二乗検定とか使えば分かるけど、69%なら十分有意だと思う。

[名無しさん]

Claude使ったことないけど、GPTと比べてどうなんだろ。

[名無しさん]

コード生成とかはClaudeの方が好みって人もいるよ。

[名無しさん]

確かにPythonのコードはClaudeの方が丁寧な気がする。

[名無しさん]

Gemini 3.1 Proってのも初めて聞いた。モデル増えすぎて追いつけない。

[名無しさん]

Googleも水面下で進めてるんだね。でも情報少なすぎ。

[名無しさん]

こういうブラインド評価って人間の評価とどれくらい相関するんだろう。

[名無しさん]

人間の評価はコストかかるし、AIによるAI評価って流れは増えそう。

[名無しさん]

でもループするといずれ自己満足になるリスクが…。

[名無しさん]

Opus 4.6でも十分すごいのに、さらに上か。すごい時代だ。

[名無しさん]

でも性能向上のペースが落ちてるって声もあるよね。

[名無しさん]

個人的にはOSSモデルに期待してる。ClaudeはAPI高いし。

[名無しさん]

コスパ重視ならDeepSeekとかいいんじゃない？

[名無しさん]

でもDeepSeekは規制が心配。ローカルで動かせるモデルがベスト。

[名無しさん]

評価方法の詳細が気になる。どんなタスクで勝ったのか。

[投稿者]

投稿