academic-rebuttal について
academic-rebuttal は、論文著者が査読コメントを評価し、リバッタル期間中の作業を計画するためのスキルです。判断を左右する懸念や実験を優先し、投稿用の完成稿ではなく、著者が確認する根拠ベースの回答資料を作成します。
主な機能
- 01リバッタルの見込み評価
- 02査読者の根本的な懸念の分析
- 03実験と分析の優先順位付け
- 04計画段階と回答草案の分離
- 05根拠不足と未入力情報の明示
- 06会議の生成 AI 利用方針への配慮
活用シーン
- 01短い期限で査読コメントを整理
- 02重要な懸念に応える実験の選定
- 03検証済み結果に基づく著者確認用資料の準備
- 04再投稿が適切な場合の論文改訂計画
インストール
コマンドをコピーしてターミナルで実行します。
npx skills add https:/ / github.com/ tobiaslee/ rebuttal-skill --skill academic-rebuttalインストール後、Claude Code で/academic-rebuttalを入力して読み込まれたか確認します。
同梱ファイルREADME.md
詳細
Academic Rebuttal Skill
目的
著者が短い反論期間を最大限に活用できるよう支援します。
このスキルは、意図的に2段階で構成されています。
-
トリアージと実験計画
- アブストラクト、査読コメント、スコアを読みます。
- 各査読コメントの背後にある根本的な理由を推測します。
- 解釈が不確かな点を著者に提示します。
- 反論がどの程度有効になり得るかを評価します。
- 判定を変える可能性が最も高い実験、分析、明確化を優先順位付けします。
-
著者確認用の回答資料
- 著者が完了した結果や、検証済みの論文内の根拠を提供した後、または追加実験を行わないことを明示的に確認した後にのみ実行します。
- 直接的な回答 → 根拠 → 修正の構成で簡潔な回答資料を作成し、著者が確認して書き直すための草稿であることを明記します。
- すべての主張を、提供された根拠に基づくものにします。
- 最終的に提出する回答に何を含めるかを決め、投稿先のポリシーへの準拠と開示に責任を持つのは、ツールではなく著者です。
すべての文に等しく答えることが目的ではありません。採否を左右する、少数の決定的な疑問を解消することが目的です。
まず投稿先のルールを確認:生成支援に関する規定
このスキルを使用する前に、論文を投稿する特定の会議または投稿先の最新のポリシーを確認してください。生成支援に関する規定は投稿先によって異なり、随時変更されます。ポリシーが明確でない場合は、投稿先の運営委員長に問い合わせるか、このツールの使用をトリアージと実験計画のみに限定してください。
ACL 系の投稿先(ACL、NAACL、EACL、EMNLP、ARR で査読される投稿先、および ACL のポリシーに従うその他の投稿先)では、査読への反論に含める内容を含め、コンテンツの作成に生成 AI ツールを使用した場合、適切な使用であることと完全な開示が求められます。ACL の出版倫理ポリシー「著者資格における生成支援のガイドライン」と、ARR の「AI による執筆・コーディング支援ポリシー」を参照してください。
- https://www.aclweb.org/adminwiki/index.php/ACL_Policy_on_Publication_Ethics
- https://aclrollingreview.org/cfp
文章の推敲と実質的な内容の生成
ACL のポリシーでは、これらを区別しています。
| 文章の推敲 | 実質的な内容の生成 |
|---|---|
| 文法チェッカーのように、著者自身の文章を言い換えたり推敲したりすること | 新たな分析、主張、解釈、または回答草稿全体を作成すること |
| 校正と同様に扱われ、通常は開示を必要としません | 許可される場合は完全な開示が必要です。ポリシーに列挙された事例以外での使用は、不適切と見なされます |
| 著者の内容と責任に変わりはありません | 著者が引き続き全面的な責任を負い、正確性と剽窃の有無を確認する必要があります |
このスキルを使用する際の注意
- このスキルは、著者が確認、修正、書き直すための分析、計画、回答資料を作成します。提出可能な状態の反論を作成することはありません。
- 最終的な回答に何を含めるかを決め、投稿先が求める開示に責任を持つのは著者です。
- 座長のみが閲覧できるメモ、著者と共有されていないメタレビュー、査読者の身元など、機密情報はどのツールにもアップロードしないでください。
最小限の入力
ステージ 1 で有用な最小限の入力は次のとおりです。
- 論文タイトル(任意);
- 論文の要旨;
- すべての査読コメント;
- 査読者のスコア;
- 入手可能な場合は、査読者の確信度スコア;
- 判明している場合は、投稿先とスコア尺度;
- 反論回答の締切または残り時間;
- 判明している場合は、利用可能な計算資源、データ、著者の作業余力。
有用な任意の入力:
- 原稿または関連するセクション;
- 付録および補足資料;
- 既存の表および実験ログ;
- 曖昧なコメントに対する著者の解釈;
- 反論回答の語数または文字数の上限;
- 新しい実験に関する投稿先の方針;
- 既知のエリアチェアまたはメタレビューのコメント。
ステージ 2 では、次の情報も求めます。
- 完了した実験または分析の結果;
- 正確な実験設定;
- 実行回数またはシード数;
- 該当する場合は、不確実性の推定値;
- 検証済みの原稿内の該当箇所;
- 著者が変更に応じる意思のある内容;
- 著者が主張を限定する意思のある内容。
情報が不足している場合は、次のプレースホルダーを明示します。
[RESULT NEEDED][SETTING NEEDED][NUMBER OF SEEDS NEEDED][MANUSCRIPT LOCATION NEEDED][VENUE RULE NEEDS VERIFICATION][AUTHOR CONFIRMATION NEEDED]
不足している根拠を、決して黙って補ってはいけません。
運用契約
デフォルトの動作
ユーザーが最初に査読コメント、スコア、要旨だけを提供した場合:
- 直ちに最終的な反論回答を書いてはいけません。
- まず、次の内容を返します。
- 反論回答の実現可能性の評価;
- 査読意図の診断;
- 優先順位を付けた懸念事項の一覧;
- 優先順位を付けた実験・分析計画;
- 確認のみが必要な対応;
- 著者向けの結果報告テンプレート;
- 適切な場合は、再投稿に関する助言;
- 方針の確認で判明した、投稿先の生成 AI 利用に関する制限。
ユーザーが完了した結果を提供した後:
- 結果がどの懸念に対応しているかを検証します;
- 残っている根拠の不足を特定します;
- 著者が確認、修正、書き直すための回答資料を作成します — 投稿可能な完成版の反論回答ではありません;
- 具体的な原稿の修正リストを含めます;
- 上限が指定されている場合は、最終的な語数または文字数を報告します;
- 投稿先の生成 AI 利用方針で求められる開示があれば、明示します。
例外:新たな実験が不要な場合、またはユーザーが既存の根拠のみを基にした草案を明示的に求めた場合は、草案を作成します。ただし、裏付けのない主張や不足している主張にはすべて明確な印を付け、著者による確認用の資料として提示します。
ステージ 0:反論回答か再投稿かの判断
実験を計画する前に、反論回答に時間を費やすことが有効かどうかを評価します。
0.1 スコア尺度の標準化
普遍的なボーダーラインのスコアがあるとは想定しません。可能な場合は、次の項目を確認します。
- 投稿先;
- スコアの範囲;
- 各スコアの意味上のラベル;
- おおよその採択基準;
- 投稿先にエリアチェアによる討議フェーズがあるかどうか;
- 査読者がスコアを変更できるかどうか;
- 新しい実験が許可されているかどうか。
ボーダーラインが不明な場合は、評価が暫定的であることを明記します。
0.2 反論回答の実現可能性を見積もる
状況を次のように分類します。
PROMISING
よく見られる兆候:
- 少なくとも 1 名の査読者が肯定的、または明確にボーダーラインを上回る評価をしている;
- 否定的なレビューは、回答可能な誤解または不足している根拠に重点を置いている;
- 査読者から致命的な正確性の欠陥が指摘されていない;
- 中心的な懸念に反論回答期間内に対応できる;
- スコアと文面から、1〜2 件の疑念を解消すれば判定が変わる可能性が示唆されている。
推奨される対応:
- 的を絞った反論回答用の実験に取り組みます;
- 複数の査読者に共通する主要な懸念を優先します;
- 全面的な回答を作成します。
BORDERLINE / UNCERTAIN
よく見られる兆候:
- スコアが投稿先のボーダーライン付近に集中している;
- レビューでは有意な長所が認められている一方、修正可能な懸念も複数指摘されている;
- 査読者の意図が曖昧である;
- 決定的な実験または説明によって評価が大きく変わる可能性がある。
推奨される対応:
- 価値が高く、短期間で完了できる実験のみを実施します;
- 簡潔な反論回答を準備します;
- 同時に、再投稿に必要な修正事項を記録します。
LOW EXPECTED RETURN
典型的な兆候:
- すべてのレビューが投稿先のボーダーラインを下回っている;
- 肯定的なレビュー担当者や、明確な擁護者がいない;
- 複数のレビュー担当者が、研究の中心的な前提、正確性、新規性、または実証的妥当性にそれぞれ疑問を呈している;
- 必要な証拠を、反論期間中に確実に提示できない;
- 懸念の解消には、手法の再設計、大規模な新規データの収集、または論文の中心的なストーリーの書き直しが必要になる。
推奨される対応:
- 反論によって結果が覆る可能性は低く、再投稿のほうが生産的である可能性が高いと説明する;
- 対応しているように見せるためだけに、急いで質の低い実験を行うよう促さない;
- 事実誤認を訂正するための、最小限かつ専門的な反論を任意で準備する;
- 実行可能な再投稿計画を提示する。
不採択が確実だと断定してはいけません。次のような、確度を適切に調整した表現を使ってください。
現在のスコア分布と懸念の性質を踏まえると、反論に多大な労力を費やすことによる期待リターンは低いようです。短い回答でも重大な誤解を正せる可能性はありますが、より価値の高い方針は、改訂の質を高めて再投稿することだと考えられます。
0.3 期待リターンが低い場合に必須の出力
次の項目を返してください。
- 反論の期待価値が低い理由
- 今すぐ回答する価値があること
- 時間を費やすべきでないこと
- 再投稿に向けた診断
- 優先順位を付けた改訂ロードマップ
- 次回の投稿に向けて推奨する新たな実験
- 主張、位置づけ、文章表現の変更案
- 投稿先候補についての考慮事項。情報が十分にある場合のみ
Stage 1:レビューの診断
1.1 レビューを個別のコメントに分解する
1つのレビュー担当者の段落に、複数の懸念が含まれている場合があります。それぞれを個別の論点に分解してください。
例:
「手法はコストが高く、X との比較は公平ではなく、Y に対する新規性も不明瞭です。」
次のように分解します。
- C1:計算コスト;
- C2:X との比較の公平性;
- C3:Y に対する新規性。
1.2 根底にある理由を推測する
個々のコメントについて、以下を区別してください。
- 表面的なコメント:レビュー担当者が文字どおりに書いた内容;
- 根底にある懸念:その表現の背後にある、採否判断に関わる疑念;
- 懸念の解消に必要な証拠;
- 解釈の確信度。
よくある根底の懸念には、次のようなものがあります。
- 手法は技術的に正しいか?
- 主張される改善は、不公平な比較によるものではないか?
- 手法は、都合よく選ばれた設定以外でも機能するか?
- 貢献には真の新規性があるか?
- その課題は取り組む価値があるほど重要か?
- 結論は統計的に信頼できるか?
- アプローチはスケールするか?
- 手法は再現可能か?
- 改善に対してコストは妥当か?
- 主張の範囲が証拠の範囲を超えていないか?
- 論文が不明瞭なために、レビュー担当者が混乱していないか?
- レビュー担当者は、論文に明記された貢献と合致しない期待を当てはめていないか?
根底にある理由の分析は必須であり、省略できません。
1.3 レビュー担当者の意図が不確かな場合の対応
複数の解釈があり得る場合、レビュー担当者の意図が分かっているかのように振る舞ってはいけません。
コメントの解釈が不確かな場合は、意図診断カードを返してください。
意図診断カード
- 査読者コメント: 忠実な短い引用または言い換え
- 最も可能性の高い根本的な懸念: 解釈 A
- 代替の解釈: 解釈 B
- 信頼度: 高 / 中 / 低
- 不確実な理由: 参照の欠落、曖昧な表現、スコアと本文の不一致、 矛盾する記述、または不十分な要求
- 両方の解釈に答える証拠: 実行可能な場合は優先される
- 著者への質問: 著者の知識が必要な場合に限る
- 安全な対応戦略: どちらの解釈でも有効な表現
例:
査読者コメント: 「この評価は現実的ではない。」
最も可能性の高い懸念: ベンチマークの分布がデプロイ環境と一致していない。
代替の懸念: 評価がレイテンシやリソース制約を省略している。
信頼度: 中。
両方に対処する実験: ドメイン内のデプロイ形式の分割を追加し、 品質をレイテンシ/コストとともに報告する。
安全な対応戦略: 想定されるデプロイ設定を明示的に定義し、 どの現実性の次元を評価しているかを説明し、まだ対象としていない次元を認識する。
不足しているリソースを投入する前に、この診断を著者に提示してください。
1.4 コメントクラスの区別
すべての指摘に、1 つの主要なクラスをラベル付けします:
CORRECTNESSNOVELTYEMPIRICAL_SUPPORTFAIR_COMPARISONMISSING_BASELINEGENERALIZATIONROBUSTNESSSTATISTICAL_RELIABILITYEFFICIENCYSCALABILITYREPRODUCIBILITYSIGNIFICANCESCOPE_OR_OVERCLAIMRELATED_WORKCLARITYPRESENTATIONREVIEW_PROCESS
また、想定される対応モードもラベル付けします:
NEW_EXPERIMENTNEW_ANALYSISEXISTING_EVIDENCECLARIFICATIONCORRECTIONCLAIM_NARROWINGMANUSCRIPT_REVISIONCONFIDENTIAL_CHAIR_NOTEDEFER_TO_RESUBMISSION
ステージ 1A: 懸念の重大度と優先度
1A.1 重大度
1 つの重大度ラベルを割り当てます:
FATAL
有効であり、未解決の場合、論文の主要な主張が崩れます。
例:
- 中心的な手法における正確性の欠陥;
- データリーク;
- 無効な評価プロトコル;
- 主要な結果を解釈不能にする比較;
- 先行研究によって矛盾を示される中心的な新規性の主張。
MAJOR
却下につながる可能性はあるが、解決されれば論文の核心は生き残ることができます。
例:
- 強力なベースラインの欠如;
- 汎化のギャップ;
- 中心的なメカニズムに対する不十分なアブレーション;
- 不明確な計算量を揃えた比較;
- 弱い統計的裏付け。
MODERATE
信頼性、範囲、または提示に影響するが、単独で致命的になる可能性は低いもの。
MINOR
誤字脱字、局所的な明瞭さ、書式、小さな引用の欠落、または中心的でない要求。
1A.2 意思決定への影響
その問題を解決することが意思決定をどれだけ変えうるかを見積もります:
HIGHMEDIUMLOW
これは重大度と同じではありません。信頼度の低い外れ値の査読者からの 主要な懸念は、共有された中程度の懸念よりも期待される意思決定への影響が 低い場合があります。
1A.3 共有度
ラベル付けします:
ALL_REVIEWERSMULTIPLE_REVIEWERSSINGLE_REVIEWERMETA_REVIEW_OR_CHAIR
共有された懸念は通常、より高い優先度を受けます。
1A.4 解決の信頼度
見積もります:
HIGH: 提供された証拠または簡単な実験で答えられる;MEDIUM: 答えられる可能性が高いが、解釈または結果が不確実;LOW: 大幅な再設計、利用できないデータ、または推測的な証拠が必要。
ステージ 1B: 優先順位付けされた実験および分析計画
反論期間には時間制限があります。順位付けされていない希望リストを返さないでください。
1B.1 実験の優先度ラベル
提案された各アクションに 1 つの優先度を割り当てます:
P0 — 今すぐ行うべき
次の場合に使用します:
- 致命的または主要な懸念に対処する;
- 懸念が共有されているか、意思決定に決定的である;
- 実験が期限内に実行可能である;
- 結果が否定的であっても解釈可能である;
- 既存の証拠が懸念を適切に解決しない。
P1 — 時間があれば価値が高い
次の場合に使用します。
- 主張を大幅に強化する場合;
- 査読者1名の重大な懸念、または複数の査読者に共通する中程度の懸念に対応する場合;
- すべてのP0項目を終えた後に実行可能な場合;
- P0作業の完了を危うくしない場合。
P2 — あると望ましい
次の場合に使用します。
- 副次的な主張を裏付ける場合;
- 完全性を高めるものの、判定を変える可能性は低い場合;
- 低コストで、優先度の高い作業を遅らせずに実行できる場合。
P3 — 改訂または再投稿まで延期
次の場合に使用します。
- 大規模なエンジニアリング、データ収集、計算、または再設計が必要な場合;
- 締め切りまでに信頼性の高い検証ができない場合;
- 影響の小さい懸念への対応である場合;
- 明確なスコープの説明だけで反論として十分な場合。
実施しない
次の場合に使用します。
- 実験が根本的な懸念に対応していない場合;
- 既存のエビデンスと重複する場合;
- 対照条件が不足しているため、結果を解釈できない場合;
- 主要な懸念を未解決のままにして、反論期間全体を費やす可能性が高い場合;
- 判定への有用性ではなく、主に不安から動機づけられている場合。
1B.2 優先度スコアリングのヒューリスティック
定性的な判断を用い、必要に応じて以下を参考にします。
priority_value = decision_impact × sharedness × severity × expected_information_gain × feasibility / cost
各要素を明示的に定義しない限り、見せかけの精密さを伴う数値スコアは提示しないでください。順位付けの根拠を文章で説明できるようにしてください。
1B.3 実験計画の表
次の列を持つ表を返してください。
| 優先度 | 懸念ID | 根本的な問い | 提案する実験または分析 | 判定を変える理由 | 最小実施可能プロトコル | 推定時間・コスト | 結果の解釈 | 未完了の場合の代替策 |
|---|
提案する実験ごとに、以下を明記してください。
- 対応する査読者の具体的な懸念;
- 仮説または判定に関する問い;
- ベースラインと対照条件;
- データセットまたは評価サブセット;
- 指標;
- 計算量またはデータの条件合わせ;
- 該当する場合は乱数シードまたは反復実行;
- 意図する主張を裏付けるために最低限必要な結果;
- 否定的な結果が示唆する内容;
- 代替となる反論文。
1B.4 情報密度の高い実験を優先
複数の懸念に同時に答えられる実験を優先します。
例:
- 計算量を揃えた比較は、公平性、効率、ベースラインに関する懸念に対応できます;
- 複数シードでの頑健性実験は、ばらつき、信頼性、都合のよい結果だけを選ぶことに関する懸念に対応できます;
- クロスドメイン評価は、現実性、汎化、重要性に関する懸念に対応できます;
- コンポーネントのアブレーションは、メカニズム、新規性、必要性に関する懸念に対応できます。
1B.5 実験と説明を分ける
査読コメントのすべてに実験が必要なわけではありません。
次の3つの対応区分を返してください。
- 今すぐ実施
- 既存のエビデンスまたは説明で回答
- 改訂または再投稿まで延期
努力を示すだけの目的で実験を推奨しないでください。
Stage 1C: 初回回答の出力形式
著者から査読、スコア、要旨が初めて提示されたときは、以下を返してください。
A. 反論の見込み
- 分類:
PROMISING、BORDERLINE / UNCERTAIN、またはLOW EXPECTED RETURN; - スコア分布の解釈;
- 最も強い肯定的な兆候;
- 最も強い否定的な兆候;
- 追加の反論作業によって期待できる価値;
- 前提と、不足している投稿先の情報。
B. 論文の主張マップ
要旨から以下を抽出してください。
- 問題;
- 主な貢献;
- 主張する新規性;
- 主張する実証結果;
- 主張するスコープ;
- 採否を左右する可能性が高い主張。
要旨の主張が、提示された査読エビデンスの範囲を超えているように見える場合は、その点を明示してください。
C. 査読コメントの根本原因の診断
次の表を使用してください。
| ID | 査読者 | 表面的なコメント | 根本的な懸念 | 別の解釈 | 確信度 | 深刻度 | 共通性 |
|---|
確信度が低い行については、曖昧さを著者に説明してください。
D. 懸念とエビデンスの対応表
| 懸念ID | すでに利用できるエビデンス | 不足しているエビデンス | 最適な回答方法 |
|---|
E. 優先順位付き実験計画
実験計画の表全体と P0~P3 のラベルを使用してください。
F. 時間配分の推奨
締切がわかっている場合は、実用的な時間配分を提案してください。
例:
- 最初の10%:レビューの解釈を確認し、プロトコルを確定する;
- 次の60%:P0 実験を実施する;
- 次の20%:結果を分析し、主要な回答の草稿を作成する;
- 最後の10%:一貫性、文体、分量を確認する。
実際の状況に合わせて調整してください。P0 の結果が揃う前に、P2 の作業に時間を割り当てないでください。
G. 著者の結果記入用テンプレート
著者に、次の形式で結果を返すよう依頼してください。
Experiment ID:
Concern IDs addressed:
Status: completed / failed / partial
Protocol:
Baselines and controls:
Metric:
Number of runs or seeds:
Result:
Uncertainty:
Unexpected findings:
Artifacts or table:
Claim supported:
Claim not supported:
Preferred manuscript change:
H. 再投稿計画(該当する場合)
LOW EXPECTED RETURN の場合は、以下を含めてください。
| 優先度 | 修正内容 | 対応するレビュー | 必要な作業 | 期待される効果 |
|---|
以下も含めてください。
- 維持すべき中心的な論旨;
- 範囲を狭める、または削除する主張;
- 次回の投稿に必要な不足している証拠;
- 手法または評価の再設計;
- 論文構成の変更;
- 関連研究における位置付けの見直し;
- 再現性に関する追加事項;
- 検証すべき、新たに起こりうる失敗モード。
ステージ2:追加結果の反映
著者から実験結果が提出された後に、このステージを実施してください。
2.1 各結果を検証する
実験ごとに、以下を確認してください。
- underlying concern に実際に答えているか;
- 比較条件が一致しているか;
- 指標は適切か;
- 実行回数と不確実性は十分か;
- 結果は肯定的、否定的、混在、または結論不能のいずれか;
- どの具体的な主張を裏付けられるか;
- 新たな限界を生じさせるか;
- リバッタルの分量制限内に収められるか。
結論不能な結果を、肯定的な主張にすり替えてはいけません。
2.2 懸念事項の一覧を更新する
各懸念事項に、以下のいずれかを付けてください。
RESOLVEDPARTIALLY_RESOLVEDUNRESOLVEDRESOLVED_BY_CLARIFICATIONCONCEDED_AND_NARROWEDDEFERRED_TO_RESUBMISSION
2.3 リバッタルに含める内容を決定する
以下に該当する結果を含めてください。
- 採否の判断に関係する;
- 手法的に解釈できる;
- 検証済みである;
- 簡潔に説明できる;
- レビュアーの懸念に直接結び付いている。
以下に該当する結果は省略するか、条件を明記してください。
- 急いで実施され、信頼性が低い;
- 公平な対照実験がない;
- 説明する余地が十分になく、矛盾している;
- 実際の underlying concern と関係がない。
2.4 否定的または混在する結果を誠実に扱う
否定的な実験結果も、より限定的で信頼性の高い主張を裏付けるものであれば、リバッタルの改善に役立ちます。
テンプレート:
要求された分析からは、
[広範な主張]は裏付けられませんでした。改善が確認されたのは[条件]ではありますが、[条件]ではありません。このため、要旨と結論の主張の範囲を狭め、この限界を明記します。
ステージ2A:著者の確認用に回答資料を準備する
このステージでは、著者が確認、修正、書き直しを行うための回答資料をまとめます。投稿可能な状態のリバッタルは作成しません。最終回答に何を含めるかを決め、投稿先で求められる開示に対応するのは著者です。
2A.1 中立的な判断者に向けて書く
直接の宛先はレビュアーですが、実際の読者はエリアチェア、シニアエリアチェア、または編集者である可能性があります。
主要な回答では、以下を明確にしてください。
- 懸念事項は何か;
- 根底にある疑問は何か;
- 著者が同意するのか、異議を唱えるのか、部分的に同意するのか;
- どの証拠が懸念を解消するのか;
- 論文のどこをどう変更するのか。
弱い例:
興味深いご質問をありがとうございます。本手法には……
強い例:
はい。計算量を揃えても改善は維持されます。 新しい実験では、データ、バックボーン、チューニング予算、FLOPs を揃えた条件で、本手法は
[X]を達成し、Baseline A は[Y]を達成しました。この結果を表[N]に追加し、比較プロトコルを明確にします。
2A.3 判断の決め手となる懸念事項ごとに整理する
優先順位:
- 致命的または中心的な技術的懸念;
- 複数の査読者に共通する主要な懸念;
- 実証的妥当性と公平な比較;
- 新規性と位置づけ;
- 一般化、頑健性、効率性、再現性;
- 範囲と明確さ;
- 軽微なコメント。
同じ回答を査読者ごとに繰り返すのではなく、共通する懸念はまとめます。ただし、投稿先の形式上それができない場合は除きます。
2A.4 冒頭の要約
テンプレート:
査読者の皆様、丁寧なフィードバックをありがとうございます。査読者は
[strength 1](R1、R2)、[strength 2](R2)、[strength 3](R3)を評価しています。 主な懸念は、(1)[major concern]、(2)[major concern]、 (3)[major concern]です。以下では、新たな証拠と具体的な改訂を示して、これらに回答します。
批判的な査読が多い場合:
査読者の皆様、詳細なフィードバックをありがとうございます。
[central issue]に関する重要な懸念が挙げられている一方で、[merit 1]と[merit 2]も評価されています。意図する範囲を明確にし、 可能な範囲で求められた証拠を提示したうえで、対応する改訂を以下に示します。
査読者が述べていない肯定的な評価を作り上げないでください。
2A.5 主要な回答のテンプレート
C1. 内容を表す見出し — R1、R3
懸念。 懸念を忠実に言い換えた一文。
回答。 最初の文で直接回答します。
証拠。 結果、導出、原稿にすでに記載されている証拠、または完了した分析を示します。解釈に必要な比較条件と不確実性を含めてください。
改訂。 論文への具体的な変更を記載します。
例:
C1. 計算量を揃えた場合の性能 — R1、R3
回答。計算量を揃えた条件でも、本手法の優位性は維持されます。 データ、バックボーン、最適化予算、FLOPsを同一にした場合、
[N]個のシードで、最も強いベースラインの[Y ± t]に対し、本手法は[X ± s]を達成します。この比較を表2に追加し、付録Cにシードごとの結果を報告するとともに、「一貫して優れている」を「評価した計算量を揃えた設定で優れている」に修正します。
2A.6 軽微なコメント
簡潔にまとめます:
軽微なコメント。
[term]を初出時に定義し(R1)、[work]の引用漏れを追加し(R2)、式(5)を修正し(R2)、付録Dの実装の詳細を拡充します(R3)。
回答のパターン
誤解を正す
本手法に
[assumption]は必要なく、必要なのは[actual assumption]のみです。 これはセクション[N]に記載していますが、説明によって両者の違いが分かりにくくなっていた可能性があります。該当する段落を修正し、[example or derivation]を追加します。
妥当な限界を認める
現在の証拠では
[broad claim]を立証できないという点に同意します。 証拠が裏付けているのは、[conditions]のもとでの、より限定的な主張である[supported claim]です。 要旨と結論の主張を限定し、この限界をセクション[N]に追記します。
完了した実験を報告する
ご要望の
[comparison/ablation/robustness test]を実施しました。[data/compute/tuning]を揃えた条件で、[N]回の実行において、本手法は[baseline result]に対し[result]を達成しました。これは[specific claim]を裏付けています。設定と結果を[location]に追加します。
実験を信頼性の高い形で完了できない場合
この実験が有益であることには同意します。信頼性の高い形で完了するには
[reason]が必要であり、十分に検証されていない結果を報告することは避けたいと考えています。現在の証拠が裏付けているのは[narrow claim]です。この範囲を明確にし、ご要望の実験を改訂計画に追加します。
新規性に関する懸念
まず、次の差分表を作成してください。
| 先行研究 | 能力または前提 | 本論文との違い | 重要である理由 |
|---|---|---|---|
| 研究 A | |||
| 研究 B |
次に、以下を記述してください。
貢献は、単に「
[common component]」を含むことではありません。貢献は、 (i)「[new formulation]」、(ii)「[new capability or guarantee]」、および (iii)「[new empirical or analytical finding]」です。研究 A は 「[specific distinction]」の点で異なり、研究 B は「[specific assumption]」を前提としています。
既知の構成要素を、これまで示されていない形で組み合わせたことだけを根拠に、新規性を主張するのは避けてください。
ベースラインの不足または不公平な比較
比較条件を揃えるべきだというご指摘に同意します。すべての手法で、同じ
[split]、[budget]、[backbone]、および[selection protocol]を使用するようにしました。 このプロトコルでは、[result]となりました。これらの統制条件を明示します。
統計的信頼性
[N]回の独立した実行における[metric]を、平均値 ± 標準偏差で報告し、[confidence interval or test]も示します。[baseline]に対する改善は[value]であり、[uncertainty]です。
妥当な検定なしに、統計的有意性を主張しないでください。
スコアとレビュー本文の不一致
公開回答は、実質的な内容を保ってください。機密の連絡手段がある場合は、事実に基づく次のような文面を記載してもかまいません。
数値スコアがレビュー本文と整合しているかどうか、ご検討いただけますと幸いです。レビュー本文では「
[positive assessment]」が評価され、「[fatal issue]」は指摘されていません。
レビュアーにスコアの変更を迫らないでください。
査読プロセス上の問題
プロセス上の懸念と技術的な意見の相違は分けてください。
該当する可能性のある項目:
- 具体性に欠ける批判;
- 裏付けのない新規性の判断;
- スコアとレビュー本文の不一致;
- 非専門的な口調;
- 査読で求められる内容と論文の種類との不一致;
- 論文または引用文献に裏付けられていないように見える事実の主張。
利用可能な場合は、機密の連絡手段を使用してください。
- 必要な箇所だけを引用する;
- 問題を事実に基づいて説明する;
- 会場のガイドラインを参照する;
- 公正な評価に影響する理由を説明する;
- 意図や身元を推測しない。
再投稿モード
反論の期待効果が低い場合、または著者から明示的に要望された場合は、再投稿モードを使用してください。
再投稿向けの出力
1. 判定の診断
主な不採択要因を説明してください。
- 貢献が不明確;
- 根拠が不十分;
- 技術的な欠陥;
- 不公平な評価;
- 新規性の位置づけが弱い;
- 投稿先の読者層と論文の不一致;
- 過剰な主張;
- 文章または構成が不十分;
- 独立した複数の懸念があり、擁護するレビュアーがいない。
2. 維持/変更/削除
次の表を返してください。
| 維持 | 変更 | 削除または範囲を狭める |
|---|
3. 改訂作業の優先順位
作業を次のように分類してください。
R0 — 再投稿を妨げる項目R1 — 強く推奨R2 — 完成度を高める項目R3 — 任意の仕上げ
4. 次回投稿に向けた実験計画
各実験について、次の項目を指定してください。
- 仮説;
- 対応する懸念;
- プロトコル;
- 期待される情報利得;
- コスト;
- 中止基準;
- 結果が肯定的、否定的、または無効だった場合の意味。
5. 論旨と主張の改訂
次の点を提案してください。
- 改訂した一文での貢献の説明;
- 改訂した要旨での主張;
- 最も強く、根拠をもって述べられる新規性の主張;
- 範囲を狭めるべき主張;
- 前面に出すべき限界;
- 中心的に扱うべき結果;
- 付録に移すか削除すべき結果。
6. 論文構成の改訂
次の項目について、具体的な変更を提案してください。
- タイトル;
- 要旨;
- 序論;
- 関連研究;
- 手法;
- 実験設定;
- 主要な表;
- 分析;
- 限界;
- 付録および再現性の詳細。
再投稿を失敗として位置づけないでください。現在の根拠とスコア分布から判定の覆る可能性が低い場合に、より高い成果が期待できる道筋として位置づけてください。
根拠と誠実性に関するルール
使用可能な根拠
- 提供された抄録および原稿本文;
- 著者または文書によって確認済みの、原稿内の正確な箇所;
- 完了した実験;
- 完了した分析;
- 修正済みの導出または証明;
- 再現可能な数値の要約;
- 投稿先の方針で認められている引用。
禁止事項
以下の行為は決して行わないでください。
- 実験値を捏造する;
- 査読者の発言を捏造する;
- 原稿内の箇所を捏造する;
- 予定している作業を完了済みとして示す;
- 査読者が同意していないのに、同意したかのように示す;
- 必要な検定なしに有意性を主張する;
- 追加した否定的な結果を隠す;
- 査読者の意図が曖昧なのに、確定事項として述べる;
- 今後の実験が成功すると約束する;
- 解釈可能な対照実験を設けずに、急いで実験するよう勧める;
- 生成した文章を、そのまま投稿できる回答として提示する;
- 投稿先の生成 AI 利用方針を確認しない、または必要な開示について著者に注意喚起しない。
不確かな場合は、その旨を述べ、安全性を優先した次の行動を示してください。
トーンのルール
次の表現を優先してください。
- 「同意します……」
- 「明確にします……」
- 「私たちの説明が……を分かりにくくしていた可能性があります」
- 「意図している主張は……です」
- 「新しい結果は……を示しています」
- 「……に限定します」
- 「……を修正します」
次の表現は避けてください。
- 「査読者が理解できなかった……」
- 「これは明らかに間違っています」
- 「査読者は論文を読んでいません」
- 「この批判は不当です」
- 査読者の動機に関する推測;
- 評点の変更を強く求めること;
- 定型的な謝辞を繰り返すこと。
回答は落ち着いて正確であり、中立的な議長が容易に確認できるものにしてください。
圧縮ルール
上限を超えた場合は、次の順序で削除してください。
- 繰り返される謝辞;
- 繰り返される査読者の引用;
- 一般的な背景説明;
- 形容詞や修辞的な表現;
- 査読者間で重複する回答;
- 影響の小さい軽微なコメント;
- 根拠を解釈するうえで不要な実装の詳細。
以下は残してください。
- 直接的な回答;
- 重要な数値;
- 比較対照;
- 不確実性;
- 仮定;
- 主張の限定;
- 原稿の変更点;
- 未解決の限界。
出力モード
モード 1:TRIAGE_AND_EXPERIMENT_PLAN
追加結果がまだ得られていない場合に使用します。
以下を返してください。
- 回答書の実現可能性;
- 論文の主張の対応表;
- 査読の根本的な懸念の診断;
- 優先順位を付けた懸念事項の一覧表;
- P0~P3 の実験計画;
- 明確化のみで対応する項目;
- 時間配分の提案;
- 著者向けの結果テンプレート;
- 必要に応じた再投稿計画。
モード 2:RESULT_INTEGRATION
一部の結果が提供された後に使用します。
以下を返してください。
- 結果の妥当性確認;
- 懸念事項の解決状況;
- 残っている課題;
- 追加実験に関する提案;
- 回答書に使用できる主張;
- 範囲を限定すべき主張。
モード 3:RESPONSE_DRAFT
著者が確認、修正、書き直すための回答資料をまとめます。
- 冒頭の要約;
- 主要な懸念への統合回答;
- 査読者ごとに残る懸念への回答;
- 軽微なコメントをまとめた回答;
- 具体的な原稿修正の一覧;
- 任意の議長向け機密メモ;
- 正確な語数または文字数;
- 投稿先が開示を求める場合の、投稿先方針に関する開示メモ。
これはそのまま投稿できる回答書ではありません。著者はすべての主張を確認し、文章を編集または自分の言葉で書き直したうえで、最終回答が生成 AI 利用に関する投稿先の方針に準拠していることを確認する必要があります。
モード 4:RESUBMISSION_PLAN
以下を返してください。
- 採択に至らなかった要因の診断;
- 維持・変更・削除の一覧表;
- R0~R3 の改訂項目一覧;
- 次回投稿に向けた実験;
- 改訂後の論文のストーリー;
- 論文の構成変更;
- 根拠がある場合の投稿先との適合性に関する検討。
モード 5:QUALITY_REVIEW
以下を確認してください。
- 直接的な回答の欠落;
- 根本的な懸念の診断の誤り;
- 未解決の致命的または重大な懸念;
- 根拠のない主張;
- 実験対照の不備;
- 不確実性の記載漏れ;
- トーンに関するリスク;
- 重複;
- 原稿内の該当箇所の記載漏れ;
- 主張の範囲との不整合;
- 約束した修正の未実施;
- 回答書への対応と再投稿に向けた対応の混同。
既定の実行手順
最初の著者メッセージ
レビュー、スコア、要旨が提供された場合:
- 投稿先と時間の制約を解析します;
- 投稿先の最新の生成 AI 利用ポリシーを確認し、制限事項や著者に必要な開示事項を伝えます;
- スコアの尺度を統一します;
- リバッタルと再投稿の判断ゲートを実施します;
- 要旨の主張マップを抽出します;
- レビューを個別の懸念点に分割します;
- それぞれの根本的な理由を推測します;
- 解釈に不確実性がある場合は明示します;
- 重大度、共通性、採否への影響、解決の確度を分類します;
- すでに利用可能な根拠を特定します;
- P0~P3 の実験計画を作成します;
- 明確化のみで対応できる作業と実験を分けます;
- 結果報告用テンプレートを提示します;
- リバッタルで期待できる見返りが小さい場合は、再投稿へのロードマップを提示します。
結果が届いた後
- プロトコルと解釈を検証します;
- 結果を懸念点に対応付けます;
- 各懸念点を「解決済み」「部分的に解決」「未解決」として分類します;
- 残り時間を踏まえ、追加実験を行う価値があるか判断します;
- 結果によって裏付けられる主張のみを導き出します;
- 著者の確認と書き直しを前提とした回答資料を、「直接的な回答 → 根拠 → 改訂」の形式で作成します。投稿可能な完成稿としては扱いません;
- 原稿への具体的な変更を追加します;
- トーンとプロセスの健全性を確認します;
- 単語数または文字数を数えます;
- 採否判断に重要な根拠を削らずに文章を短縮します;
- 投稿先の生成 AI 利用ポリシーで必要とされる開示事項があれば指摘します。
品質チェックリスト
トリアージ
- 投稿先のスコア尺度とボーダーラインを特定するか、不明と明記しています。
- 推奨内容で、有望、判断が難しい、見返りが小さいケースを区別しています。
- すべてのレビューがボーダーライン未満の場合、再投稿を明示的に検討しています。
- 推奨内容は断定的ではなく、状況に応じて調整されています。
- 最も強い肯定的なシグナルと否定的なシグナルを特定しています。
査読者の意図の診断
- 表面的な各コメントの背後にある判断上の問いを特定しています。
- 曖昧なコメントには、別の解釈も記載しています。
- 解釈の確度が明示されています。
- 費用のかかる作業を勧める前に、著者に不確実性を示しています。
- 共通する懸念点を統合しています。
実験計画
- 各実験を1つ以上の懸念点 ID に対応付けています。
- 各実験に P0~P3 または「実施しない」のラベルが付いています。
- 優先順位は、重大度、共通性、採否への影響、実行可能性、コストを反映しています。
- P0 の作業はリバッタル期間内に実施可能です。
- 最小限実行可能なプロトコルには、適切なベースラインと対照条件が含まれています。
- 否定的な結果が得られた場合の影響を明示しています。
- 明確化を実験に見せかけていません。
- 長期的な作業は再投稿に向けて先送りしています。
回答案
- 投稿先の生成 AI 利用ポリシーを確認し、制限事項や著者に必要な開示事項を著者に示しています。
- 出力は著者による確認用の資料として提示し、投稿可能な完成版のリバッタルとしては提示していません。
- 軽微なコメントより先に主要な懸念点を扱っています。
- 主要な懸念点への回答は、それぞれ直接的な回答から始めています。
- 実証に関する各主張は、提供された根拠によって裏付けられています。
- 新たに追加した結果には、該当する場合、条件を揃えた比較と不確実性を含めています。
- 妥当な限界を認めています。
- 根拠が不十分な場合は、主張の範囲を狭めています。
- 改訂内容が具体的です。
- 回答だけで内容が完結しています。
- 専門的で、対立的でないトーンです。
- 投稿先の文字数制限に収まっています。
誠実性
- 結果、引用文献、引用、原稿内の位置を捏造していません。
- 予定している作業を完了済みとして示していません。
- 査読者の意図を過度に断定していません。
- 否定的な結果や混在した結果を隠していません。
- プロセスに関する異議と技術的な回答を分けています。
- すべてのプレースホルダーが著者に見える状態です。
アンチパターン
次のことはしないでください。
- 本当の懸念を特定する前に、洗練された最終反論を作成する。
- 著者による確認、書き直し、投稿先のポリシー確認を経ていないAI生成テキストを、そのまま投稿できる回答として提示する。
- 投稿先の生成AI利用ポリシーの確認を省略したり、最終回答に必要な開示を記載しなかったりする。
- レビュアーのすべての文章を同じ重要度で扱う。
- 優先順位をつけずに実験の一覧を提案する。
- 判断に直結するP0作業より、簡単なP2作業を優先する。
- 曖昧なレビュアーの意図を決めつける。
- 根本的な疑問に答えない実験を行う。
- 現時点のエビデンスを提示せず、広範な将来の作業を約束する。
- 背景説明の下に直接的な回答を埋もれさせる。
- すべてのレビュアーに同じ回答を繰り返す。
- すべての批判を誤解として扱う。
- レビュアーの能力を攻撃する。
- 1回の急いで行った結果から過大な主張をする。
- すべてのレビューが明らかにボーダーラインを下回り、論文に大幅な改訂が必要な場合に、反論期間をすべて費やす。
- 成果が限られる状況でも、重要な事実誤認を簡潔に訂正することが有用なのに、完全に諦める。
呼び出しテンプレート
初期トリアージ
反論を作成する前に、この論文のレビューを分析してください。
投稿先とスコア尺度:
[投稿先、尺度、分かっていればボーダーライン]締め切りとリソース:
[残り時間、計算資源、著者の作業余力]投稿先の生成AI利用ポリシー:
[投稿先の現行ポリシーへのリンク、または不明である旨]要旨:
[要旨]レビュー、スコア、確信度:
[レビュー]まず、生成AI利用に関する投稿先の現行ポリシーを確認し、制限事項や必須の開示事項があれば明示してください。次に、反論が有効かどうかを評価してください。すべてのレビューコメントの背後にある懸念を推測し、解釈が不確かな箇所には明確に印を付けてください。その後、深刻度、複数レビュー間での共通性、採否への影響、実現可能性、コストに基づいて、優先順位をつけたP0~P3の実験・分析計画を作成してください。実験と説明作業は分けてください。すべてのレビューが投稿先のボーダーラインを下回る場合、または判定を変えられる現実的な道筋がない場合は、反論の期待リターンが低い可能性を説明し、実行可能な再投稿ロードマップを提示してください。
結果を追加して反映
反論に向けた実験と分析が完了しました。
[結果とプロトコル]どのレビュアーの懸念に対応しているかを検証し、残るギャップを特定し、どの主張が裏付けられているか、裏付けられていないか、または範囲を狭める必要があるかを示してください。そのうえで、Direct Answer → Evidence → Revision の形式を用いて、著者が確認するための回答案を準備してください。これは投稿可能な状態の反論ではありません。著者は内容を確認して書き直し、必要な開示を含め、投稿先の生成AI利用ポリシーを遵守する必要があります。与えられていない設定、結果、または原稿内の箇所を作り上げないでください。
再投稿のみのモード
レビュー、スコア、要旨、利用可能な結果に基づいて、反論ではなく再投稿計画を作成してください。不採択の仕組みを診断し、改訂をR0~R3に順位付けし、決定的な実験を提案し、論文の中心的なストーリーと主張を改め、節ごとの執筆上の提案を提示してください。
推奨する内部資料
次の4つの作業資料を維持してください。
-
懸念事項マトリクス
- レビュアーの個々の懸念ごとに1行を割り当てます。
- 背後にある理由と解釈の確信度を含めます。
-
実験台帳
- P0~P3の実験を懸念事項ID、プロトコル、コスト、結果に対応付けます。
-
エビデンス台帳
- 反論内の各主張を、提供された結果または原稿内の箇所に対応付けます。
-
改訂・再投稿バックログ
- 反論期間中に行う作業と、より長期的な論文の改善を分けます。
これらの資料により、無駄な実験、裏付けのない主張、レビュアーの懸念の見落としを減らせます。