ML系学会の査読者、最初のスコアを下げることってどのくらいある？

2026.06.18

このトピックには20件の返信、6人の参加者があり、最後に名無しさんにより9時間、 39分前に更新されました。

20件の返信を表示中（うち親返信9件）

投稿者

投稿
- 2026年6月18日 9:17 AM #4806 返信
  
  名無しさん
  
  Redditの r/MachineLearning で「査読者が最初に付けたスコアを後で下げる頻度は？」という議論がありました（ソース：https://www.reddit.com/r/MachineLearning/comments/1qxujqm/d_how_often_do_reviewers_decrease_their_initial/）。多くの研究者が経験する「査読者との議論後、スコアが下がる」現象について、実際の割合や理由を話し合っています。みなさんはどう思いますか？経験談や対策を共有しましょう。
- 2026年6月18日 9:18 AM #4807 返信
  
  名無しさん
  
  経験上、3割くらいは議論後にスコア下がる気がする。特にinitial reviewでhighly positiveだったのに、他の査読者と話して疑心暗鬼になるパターン。
  - 2026年6月18日 9:33 AM #4810 返信
    
    名無しさん
    
    それ、結構ある。特に実験の再現性とか疑われて、あれこれ質問された後にスコア下げられる。
  - 2026年6月18日 9:35 AM #4811 返信
    
    名無しさん
    
    私は逆に、最初に荒めのスコアを付けて、議論で上がることの方が多い。査読者によるかな。
- 2026年6月18日 9:21 AM #4808 返信
  
  名無しさん
  
  逆に、議論でしっかり説明できたら上がることもあるよね。でも確かに下がるケースの方が多い印象。
- 2026年6月18日 9:26 AM #4809 返信
  
  名無しさん
  
  査読者同士のディスカッションで、最初に厳しい評価をした人が他の意見に引きずられて緩くなることもある。一貫性ないよな。
- 2026年6月18日 9:38 AM #4812 返信
  
  名無しさん
  
  メタレビューで全体の分布を見ると、initial scoreからfinal scoreへの変化は平均で少し下がる方向みたい。統計データどこかにあったはず。
  - 2026年6月18日 9:44 AM #4813 返信
    
    名無しさん
    
    それってNeurIPSとかのデータ？ICLRの公開データでも似た傾向だった気が。
  - 2026年6月18日 9:53 AM #4814 返信
    
    名無しさん
    
    そうそう。結局、査読者同士のバイアスや議論の質に依存するから、一概には言えないけどね。
- 2026年6月18日 9:55 AM #4815 返信
  
  名無しさん
  
  対策としては、議論で想定質問を事前に用意しておくのが有効。特にweaknessを想定して反論できるようにしておく。
  - 2026年6月18日 9:57 AM #4816 返信
    
    名無しさん
    
    それ大事。でも議論は時間制限あるから、要点を簡潔にまとめないと逆効果。
  - 2026年6月18日 10:01 AM #4817 返信
    
    名無しさん
    
    あと、他の査読者のコメントに丁寧に返すのがポイント。感情的にならないように。
- 2026年6月18日 10:08 AM #4818 返信
  
  名無しさん
  
  スコア下げる理由で多いのは「関連研究の引用漏れ」とか「実験設定の不備」らしい。そういうのを予めチェックしておけば防げる。
  - 2026年6月18日 10:19 AM #4819 返信
    
    名無しさん
    
    それ、投稿前に共著者と厳しくチェックすべきだよな。特に初心者だと見逃しがち。
- 2026年6月18日 10:21 AM #4820 返信
  
  名無しさん
  
  個人的には、議論でスコアが上がることもあるから、希望的観測で最初はやや控えめのスコアを出す戦略もアリ？
  - 2026年6月18日 10:24 AM #4821 返信
    
    名無しさん
    
    それはゲーム理論的にはありかも。でも査読者の倫理的にどうなんだろう。
- 2026年6月18日 10:29 AM #4822 返信
  
  名無しさん
  
  査読システム自体の問題かも。double-blindでもバイアスは残るし、ディスカッションの質もバラバラ。
  - 2026年6月18日 10:36 AM #4823 返信
    
    名無しさん
    
    最近はopen reviewが増えてるけど、それでも完全ではないよね。特にクローズドな議論だと情報が非対称。
- 2026年6月18日 10:38 AM #4824 返信
  
  名無しさん
  
  一番腹立つのが、議論でこっちの説明が通ったのにスコアが変わらないパターン。意味あるのかあの議論。
  - 2026年6月18日 10:42 AM #4825 返信
    
    名無しさん
    
    それあるある。結局、最初の印象が強すぎて変えられない査読者もいるんだろう。
    - 2026年6月18日 10:48 AM #4826 返信
      
      名無しさん
      
      だったら最初のスコアで決め打ちして、議論は形骸化してるってことか。改善が必要だな。
投稿者

投稿

20件の返信を表示中（うち親返信9件）

返信先: ML系学会の査読者、最初のスコアを下げることってどのくらいある？

あなたの情報:

お名前 (必須)

メール (非公開) (必須):

ウェブサイト:

AA

タイトルとURLをコピーしました