paper-verification

論文検証の方法論

研究者が、論文の内容がコードおよび実験結果を正確に反映しているかを検証できるよう支援します。これは、学術論文を執筆するうえで最も重要な品質管理のステップです。

検証の観点

1. 数値の正確性の監査

論文に記載されているすべての数値（データセットのサイズ、指標の値、割合、件数）について、次の手順を実施します。

1. .tex ファイルから数値とその文脈を抽出します
2. 数値の出典（コードの出力、結果ファイル、ログ、追跡システム）を特定します
3. 値が完全に一致することを確認します（丸め処理や、百分率と小数の違いに注意します）
4. 出典を特定できない数値にフラグを付けます

テンプレート：

| Paper claim | Location (.tex) | Source file/code | Source value | Match? |
|-------------|-----------------|-----------------|-------------|--------|
| "13,999 frames" | abstract L3 | len(glob(labels/*.json)) | ? | ? |
| "4.2% improvement" | Table 2 | eval_results.json | ? | ? |

よくある数値の誤り：

• 丸めの不一致（本文では 3.14、表では 3.1415）
• 実験を再実行した後に更新されず、以前の実験の古い数値が残っている
• 百分率と絶対値の取り違え
• データセットの件数における 1 件のずれ（ヘッダーを数えるかどうか）

2. 用語の一貫性の監査

1. 手法のセクションで定義されている用語をすべて抽出します
2. すべてのセクションを対象に、各用語を検索します
3. 用語の使い方に一貫性がない箇所にフラグを付けます：
   • 同じ概念に異なる名称が使われている（例：「tag head」と「classification head」）
   • 同じ名称がセクションによって異なる意味で使われている
   • 定義されているのに使われていない用語、または定義されていないのに使われている用語

3. コードと論文の整合性

論文で説明されている各手法について、次の手順を実施します。

1. 対応するコード（関数、クラス、モジュール）を特定します
2. 論文の説明と実際の実装を比較します
3. 特に次の点を確認します：
   • アルゴリズムの手順がコードの実行フローと一致しているか
   • 本文に記載されたハイパーパラメーターが設定ファイルやコードのデフォルト値と一致しているか
   • アーキテクチャの説明がモデルのコードと一致しているか
   • 数式の損失関数が損失関数のコードと一致しているか
   • 学習手順が学習スクリプトと一致しているか

よくある不一致：

• 論文では理想化した手法を説明しているが、コードには記載されていないエッジケースがある
• 開発中にハイパーパラメーターが変更されたものの、論文が更新されていない
• 論文では説明されているが、後にコードから変更または削除された手法がある

4. 数式とコードの検証

論文に記載されている各数式について、次の手順を実施します。

1. 数式とその変数を特定します
2. 数式を実装しているコードを探します
3. 各数学演算を、コード上の対応する処理に対応付けます
4. 次の点を確認します：
   • 総和の範囲がループの範囲と一致しているか
   • 除算処理がエッジケースに対応しているか
   • 正規化係数が一致しているか
   • 勾配の流れが一致しているか（detach、no_grad）
   • 縮約処理（mean と sum）が一致しているか

5. 引用の事実確認プロトコル

論文内の引用ごとに、次の手順を実施します。

ステップ 1：主張と、引用されている論文を抽出します
ステップ 2：BibTeX のメタデータを DBLP と照合して検証します：

• 著者名（正確な綴りと正しい順序）
• 論文タイトル（プレプリントではなく、出版版の正確なタイトル）
• 掲載先と出版年（実際の出版情報と照合）

ステップ 3：具体的な数値を含む引用の主張について、次の手順を実施します：

• 引用先の論文で該当する表や図を特定します
• 数値が引用元の論文の記述と一致することを確認します
• 数値を確認できない場合は、定性的な表現への変更を提案します

ステップ 4：よくある引用の誤りを確認します：

• 出版版があるのにプレプリントを引用している
• 年の誤り（投稿年と出版年の取り違え）
• 著者名の誤記
• 論文が実際には述べていない主張の根拠として引用している

検証プロセス

1. 論文全体、または指定されたセクションを読みます
2. 各観点について検証表を作成します
3. 各項目について出典を確認し、検証します
4. 優先順位を付けた問題の一覧を作成します：
   • HIGH：誤った数値、誤った主張、引用の欠落
   • MEDIUM：用語の不一致、わずかに異なる古い数値
   • LOW：軽微な書式上の問題、任意の改善点

出力形式

構造化された検証レポートを作成します。

1. 概要：問題 X 件（高 Y 件、中 Z 件、低 W 件）
2. 数値監査表：各数値と出典、および一致状況
3. 用語の問題：場所と用語の不統一
4. コードと論文の不一致：説明と実装の相違点
5. 引用の問題：メタデータの誤りと未検証の主張
6. 修正案：各問題に対する具体的な置換テキスト