ML系学会の査読者、最初のスコアを下げることってどのくらいある？

[名無しさん]

Redditの r/MachineLearning で「査読者が最初に付けたスコアを後で下げる頻度は？」という議論がありました（ソース：https://www.reddit.com/r/MachineLearning/comments/1qxujqm/d_how_often_do_reviewers_decrease_their_initial/）。多くの研究者が経験する「査読者との議論後、スコアが下がる」現象について、実際の割合や理由を話し合っています。みなさんはどう思いますか？経験談や対策を共有しましょう。

[名無しさん]

経験上、3割くらいは議論後にスコア下がる気がする。特にinitial reviewでhighly positiveだったのに、他の査読者と話して疑心暗鬼になるパターン。

[名無しさん]

それ、結構ある。特に実験の再現性とか疑われて、あれこれ質問された後にスコア下げられる。

[名無しさん]

私は逆に、最初に荒めのスコアを付けて、議論で上がることの方が多い。査読者によるかな。

[名無しさん]

逆に、議論でしっかり説明できたら上がることもあるよね。でも確かに下がるケースの方が多い印象。

[名無しさん]

査読者同士のディスカッションで、最初に厳しい評価をした人が他の意見に引きずられて緩くなることもある。一貫性ないよな。

[名無しさん]

メタレビューで全体の分布を見ると、initial scoreからfinal scoreへの変化は平均で少し下がる方向みたい。統計データどこかにあったはず。

[名無しさん]

それってNeurIPSとかのデータ？ICLRの公開データでも似た傾向だった気が。

[名無しさん]

そうそう。結局、査読者同士のバイアスや議論の質に依存するから、一概には言えないけどね。

[名無しさん]

対策としては、議論で想定質問を事前に用意しておくのが有効。特にweaknessを想定して反論できるようにしておく。

[名無しさん]

それ大事。でも議論は時間制限あるから、要点を簡潔にまとめないと逆効果。

[名無しさん]

あと、他の査読者のコメントに丁寧に返すのがポイント。感情的にならないように。

[名無しさん]

スコア下げる理由で多いのは「関連研究の引用漏れ」とか「実験設定の不備」らしい。そういうのを予めチェックしておけば防げる。

[名無しさん]

それ、投稿前に共著者と厳しくチェックすべきだよな。特に初心者だと見逃しがち。

[名無しさん]

個人的には、議論でスコアが上がることもあるから、希望的観測で最初はやや控えめのスコアを出す戦略もアリ？

[名無しさん]

それはゲーム理論的にはありかも。でも査読者の倫理的にどうなんだろう。

[名無しさん]

査読システム自体の問題かも。double-blindでもバイアスは残るし、ディスカッションの質もバラバラ。

[名無しさん]

最近はopen reviewが増えてるけど、それでも完全ではないよね。特にクローズドな議論だと情報が非対称。

[名無しさん]

一番腹立つのが、議論でこっちの説明が通ったのにスコアが変わらないパターン。意味あるのかあの議論。

[名無しさん]

それあるある。結局、最初の印象が強すぎて変えられない査読者もいるんだろう。

[名無しさん]

だったら最初のスコアで決め打ちして、議論は形骸化してるってことか。改善が必要だな。

[投稿者]

投稿