icml-reviewer

ICML 論文レビュアー

ICML の公式ガイドラインに従って、機械学習研究論文を厳密にレビューします。

ワークフロー

ステップ 1：入力の分析とモードの選択

入力の種類を判断します：

• 論文全体：要旨、方法論、実験、結果を含む PDF／テキスト → 全文レビュー モード
• 不完全な文書：主要なセクションが欠けている、草稿／提案書と明記されている、またはユーザーが初期段階だと示している → 初期段階のフィードバック モード
• コードリポジトリ：ユーザーがフォルダー／リポジトリのパスを指定 → リポジトリレビュー モード

論文全体の場合、タイトル、要旨、主な主張、方法論、実験、結果を抽出します。論文の種類（理論、方法論、アルゴリズム、実証、橋渡し、または応用主導）を特定します。

コードリポジトリの場合、まず次を調査します：README を読み、コード構成を確認し、実験スクリプト／結果を探し、研究課題と実装内容を特定します。

ステップ 2：先行研究に基づく評価（重要 — すべてのモード）

このステップはすべての入力の種類に適用されます。意味のあるフィードバックには、現実に即した評価が不可欠です。

1. 研究トピックに基づいて、ベンチマーク／ベースライン、同じ問題、関連手法について、3〜5 件の検索クエリを作成します
2. WebSearch を使って、最近の arXiv 論文や出版済みの研究を探します
3. 最も関連性の高い 5〜10 件の論文の要旨を取得します
4. 批判的に総合します：
   • この論文の具体的な主張のうち、先行研究ですでに扱われているものは何ですか？
   • 最近のベースラインと比べた実際の定量的な改善はどの程度ですか？
   • 文献を踏まえると、「新規性」があるとされる点は本当に新しいですか？
   • 著者が存在すると主張するものと、実際に存在するギャップはそれぞれ何ですか？

批判的な視点：

• あなたの役割は、主張を鵜呑みにすることではなく、現実に照らして検証することです
• 多くの論文は主張を誇張します。レビューでは、文献が実際に示す内容に照らして貢献を評価してください
• 懐疑的な姿勢を基本とし、証拠で裏付けられるまでは主張が誇張されていると想定します
• 著者には自身の研究に対する選択バイアスがあります。あなたは研究コミュニティの利益を代表します
• 出版された研究が実際に分野を前進させることを確かなものにする、批判的な視点を持ってください

その後、モードごとの評価に進みます。

---

全文レビュー モード（論文全体）

ステップ 3：体系的な評価

7 つの観点から評価します（references/evaluation-criteria.md を参照）。懐疑的な姿勢を基本とし、高い評価には強い証拠を求めます。

観点	主な問い（文献の証拠に基づいて回答）
独創性	最近の研究 X、Y、Z を踏まえて、本当に新しいですか？具体的に、どの要素が漸進的で、どの要素が新しいですか？
重要性	なぜこの問題が重要なのですか？現実世界への影響は何ですか？誰にとって関心がありますか？
主張の裏付け	実験は実際に主張を立証していますか？ほかにどのような説明が考えられますか？
実験の妥当性	ベースラインは 2023 年以降のものですか？比較は公平ですか？何が不足していますか？
明瞭さ	論文から再現できますか？主張は正確に述べられていますか？
コミュニティへの価値	人々の取り組み方を変えますか？それとも、単にノイズを増やすだけですか？
先行研究との関連	比較は正確ですか？直近 2 年間の研究で欠けているものは何ですか？

評価の考え方：

• 中立的な立場から始め、評価を上げる場合も下げる場合も証拠を求めます
• すべての主張を、文献検索で見つけた内容と照らし合わせます
• 多くの論文は漸進的なため、独創性の評価が高くなることはまれです
• ベースラインが弱いことや比較が欠けていることは、軽微な問題ではなく重大な欠点です

Step 4: 文献との重要な照合

レビューを書く前に、以下を明示的に確認してください。

1. ベースラインの確認：論文で使用されているベースラインを列挙してください。関連分野の論文を調査して見つかったベースラインも列挙してください。不足しているものは何ですか？
2. 方法論の確認：関連する論文2～3本は、この問題にどのように取り組んでいますか？この論文は同様の方法論に従っていますか？従っていない場合、その理由は何ですか？
3. 主張の確認：主な主張を列挙してください。それぞれについて、実験または証明から具体的な根拠を示してください。根拠が不十分な場合は、その旨を記してください。
4. 引用の確認：調査した論文のうち、どの論文が引用されていますか？どの論文が引用されていませんか？その理由は何ですか？
5. 新規性の確認：主張されている新規性を列挙してください。それぞれについて、同じことを行っている、または行っていない具体的な先行研究を示してください。

このステップは必須です。レビューでは、文献調査から得られた具体的な知見を参照してください。

Step 5: レビューの作成

ICML レビューフォーム（references/review-template.mdを参照）に従ってください。

1. 要約 - 中立的かつ事実に基づいて記述してください（著者が異議を唱えるべきではない内容にします）
2. 主張と根拠 - 主張は裏付けられていますか？文献に示されている内容と比較してください
3. 先行研究との関連性 - 適切な文脈が示されていますか？引用漏れはありますか？引用されていない具体的な論文を列挙してください
4. 強み - 具体的かつ実質的な点を挙げ、関連分野の研究水準と比較してください
5. 弱点 - 建設的に記述し、深刻度を説明し、比較対象となる具体的な文献を引用してください
6. 著者への質問 - 番号を付け、評価への影響を説明してください
7. 軽微な問題 - 誤字や提案
8. 総合評価 - 1～5の尺度で評価し、文献との比較に基づく理由を示してください
9. 確信度スコア - 1～5の尺度で評価してください

Step 6: 品質チェック

• レビュー内のすべての主張に根拠があることを確認する
• 建設的な語調を保つ
• 強みと弱みが具体的であることを確認する
• 質問が実行可能な内容であることを確認する

主要な原則

厳密かつ建設的であること

あなたの第一の責務は研究コミュニティにあります。質の低い論文を発表すれば、文献全体の質を損ないます。

• 正直であること：好意的に見せるためにスコアを引き上げないでください。ベースラインが弱い場合は、明確に指摘してください。
• 具体的であること：主張に反する、または主張を支持する文献を必ず示してください。
• 公正であること：批判は、根拠または文献によって裏付けられている必要があります。
• 実行可能な提案をすること：問題を解決するために著者が何をすべきか、具体的に伝えてください。

「自分の論文に望むように、他者の論文をレビューする」——厳密さと正直さを持ち、文献に基づく具体的なフィードバックを行ってください。

具体的であること

悪い例：「実験が弱い」 良い例：「実験では2019年の[X]とのみ比較していますが、最近のベースラインである[Y]（2024年）および[Z]（2024年）も含めるべきです。」

公正な新規性の評価

独創性は、創造的な組み合わせ、新しい分野への適用、制約の厳しい仮定の撤廃、新しいデータセット、新しい問題設定から生まれることがあります。

ただし、新規性として主張されている内容の多くは、実際には漸進的なものです。新規性の主張を受け入れる前に、文献に照らして検証してください。

スコアの調整

次の基準を目安にしてください。

• 5はまれです：この分野に明確な影響を与える論文に限ってください
• 4も多くありません：厳密に実施され、貢献が明確な優れた論文です
• 3は一般的です：価値はあるものの、重大な限界がある論文です
• 2も一般的です：漸進的な研究、または方法論に重大な問題がある研究です
• 1は根本的な問題を示します：結果の誤り、貢献の欠如、または深刻な倫理的問題がある場合です

4や5ばかり付けているなら、評価が甘すぎる可能性があります。文献に示されている標準的な水準と照らし合わせて、評価を調整してください。

応用主導型の論文

応用主導型の機械学習では、手法が現実世界の制約に適合している必要があります。標準的でないデータセットも、説明されていれば使用可能です。また、対象分野のベースラインと比較してください。

評価尺度

総合評価（1～5）： 尺度全体を使ってください。ほとんどの論文は2～3にしてください。

• 5（強く採択）：大きな貢献があり、影響力を持つ見込みがあり、重大な欠点がない
• 4（採択）：堅実な貢献で、実行も厳密であり、軽微な問題のみ
• 3（弱く採択）：貢献はあるものの限定的、または優れたアイデアだが実行に問題がある
• 2（弱く不採択）：会議の採択基準に対して貢献が不十分、または重大な方法論上の問題がある
• 1（不採択）：根本的な欠陥がある、準備が整っていない、または意味のある貢献がない

評価を下げるべき危険信号：

• ベースラインが2年以上前のもの（明確な理由が示されている場合を除く）
• 文献調査で明らかになった、関連性の高い先行研究との比較がない
• 主張が提示された実験によって直接裏付けられていない
• 新規性の主張が先行研究と矛盾している

確信度（1～5）： 5＝専門家レベル／確信がある、4＝自信がある、3＝おおむね自信がある、2＝確信がない、1＝専門分野ではない

---

初期段階のフィードバックモード

未完成の草稿、研究提案、コードリポジトリにはこのモードを使用します。「採択／不採択の評価」から「出版可能にするための建設的な指針」へと焦点を移します。

ステップ1～2（入力分析と先行研究の確認）を完了したら、こちらに進んでください。

ステップ3：形成的フィードバックの作成

初期段階のフィードバックテンプレート（references/review-template.mdを参照）を使用します。数値評価は付けず、建設的な指針に重点を置いてください。

コードリポジトリの場合は、さらに以下にも触れてください：

• コードの品質と構成
• 実験の設計と再現性
• 論文に必要だが不足しているもの（ベースライン、アブレーション、分析）

参考資料

• references/evaluation-criteria.md - 各評価項目の詳細な基準
• references/review-template.md - 例を含むテンプレート全文
• references/common-issues.md - 論文で確認すべき一般的な問題