ICML 2026のスコアのばらつきがすごいらしい

[名無しさん]

Redditのr/MachineLearningで、ICML 2026のレビュースコアに大きなばらつきがあるという話題が上がっています。同じ論文でもレビュアーによって評価が大きく異なり、公平性に疑問を呈する声が多いようです。ソース: https://www.reddit.com/r/MachineLearning/comments/1sovebg/icml_2026_heavy_score_variance_among_various/ 皆さんはこの問題についてどう思いますか？経験談や対策案があれば教えてください。

[名無しさん]

自分も同じ経験があります。採択された論文が rejection をもらったり、その逆も。本当に運次第なところがありますよね。

[名無しさん]

運要素を減らすために、レビュアーアサインをもっと工夫すべきだよね。conflict avoidanceだけでなく、分野マッチングを強化してほしい。

[名無しさん]

分野マッチング強化に加えて、レビュアーに論文の位置づけを最初に明示させるのも手かも。そうすれば評価基準が統一される。

[名無しさん]

でもそれだと逆に先入観を与えるリスクがあるよ。あくまで自由な評価を尊重すべきでは。

[名無しさん]

レビュアーの専門性やバイアスが原因なのかな。特にICMLは分野が広いから、専門外のレビュアーに当たるとスコアが低くなりがち。

[名無しさん]

でも、分野が近すぎるとガチガチの競争になって、逆に厳しくなることもあるのでは？

[名無しさん]

スコアのばらつきは毎年の問題だけど、今年は特にひどいって話を聞く。実際にsubmitした人の話を聞きたい。

[名無しさん]

自分は今年初めてsubmitしました。3人のレビュアーでスコアが2, 5, 6とバラバラで、結局ボーダーで落ちました。悔しいです。

[名無しさん]

それは厳しいね。でも6をつけたレビュアーがいたということは、論文自体は悪くなかったはず。resubmit頑張って。

[名無しさん]

ICMLに限らず、機械学習のトップ会議は全体的にスコアの分散が大きいと思う。統計学的に見ても、少数のレビュアーでは信頼性が低い。

[名無しさん]

じゃあレビュアー数を増やすのはどう？でも質の高いレビュアーを確保するのは難しいし…。

[名無しさん]

実際、レビュアー不足が深刻で、適当なレビューが増えてるって話もある。ICMLも審査プロセスを見直す時期かもね。

[名無しさん]

こういう問題があるからこそ、reproducibilityやsoundnessよりもnovelty重視の風潮が強いのかも。

[名無しさん]

novelty重視もいいけど、再現性のない論文が増える原因にもなってる。バランスが難しい。

[名無しさん]

結局、完全に公平なレビューシステムは無理だから、著者側も複数会議に投稿して確率を上げるしかないのかな。

[名無しさん]

そういう現実的なアドバイスも大事。でも、研究の質で評価されるべきであって、投稿戦略で結果が変わるのは悲しい。

[名無しさん]

本当にその通り。長期的には、トップ会議の評価システムそのものが変わっていくことを願います。

[投稿者]

投稿