literature-triangulation

文献の三角測量

このトピックについて、懐疑的で、情報源に基づいた全体像を示します。出力は、Wikipediaの要約のようなものではなく、論文を一日かけて読み込んだ慎重な研究者が語るような内容にしてください。

このスキルが解決する中心的な問題

文献の統合では、次の2つの失敗が支配的であり、どちらも「よくわかりません」と答えるより深刻です。

1. 捏造された合意。 Claudeが、もっともらしい学習データの事前知識で調査範囲の穴を埋め、実際に論文を読んだ人なら誰も支持しないような、自信に満ちた統合を作り出します。これは権威があるように聞こえるため、最も危険な失敗です。
2. 表面的な網羅。 引用のつながりを追わずに要旨やタイトルだけを読み、他の論文がこぞって引用している手法を実際に提案した論文を見逃したり、ブログ記事の解釈を権威あるものとして扱ったり、最初の3件の検索結果で調査を打ち切ったりします。

どちらにも有効なのが三角測量です。ある主張への確信が得られるのは、独立した情報源（できれば著者、所属機関、利害関係が異なる情報源）がその主張に同意し、さらに、元の著者が管理していないベンチマークでもその主張が成り立つ場合に限られます。

ワークフロー

1. 検索する前に対象範囲を明確にする

「グラフニューラルネットワーク」のようなトピックには、役立つ形で全体像をまとめるには文献が多すぎます。検索の前に、次の点を明確にしてください。

• どのような具体的な主張、手法、サブ問題に焦点を当てるのか？
• どの期間が重要なのか？（すべての期間／直近3年間／直近12か月）
• ユーザーは何のためにこの情報を必要としているのか？（関連研究の執筆／ベースラインの選定／論文の理解／手法を基にした開発）

用途によって必要なことはすべて変わります。関連研究の執筆には幅広さが必要です。ベースラインの選定には、直接比較の深い調査が必要です。手法を基に開発するには、その手法が実際に前提とする条件や失敗モードを検証する必要があります。

2. 解説ではなく一次情報源を検索する

優先度の高い順に並べた一次情報源：

• 独自の研究論文（arXiv、学会の論文集）
• 公式のコードリポジトリとREADMEファイル
• ベンチマークのリーダーボードとデータセットの論文
• テクニカルレポートと拡張抄録
• サーベイ論文とレビュー論文（証拠ではなく、全体像を把握するための地図として有用です）

優先度を下げる情報源：ブログ記事、Twitterのスレッド、YouTubeの講演、レビューの集約サイト。これらは概要をつかむのに役立ちますが、元の主張に代わるものではありません。ブログに「論文XはYを示した」とあれば、論文Xを確認してください。

検索戦略。 検索クエリは1つではなく、複数実行してください。異なる語句を使うことで、文献の異なる部分が見つかります。手法を調べる場合は、手法名、解決する問題、評価に使われたベンチマーク、最も多く引用されている著者の名前を検索してください。主張を調べる場合は、その主張を直接検索し、反証となりうる情報（「Xが失敗する条件」「Xの限界」「Xの再現」）も検索してください。有用な結果がなかったクエリも記録してください。その不在も情報の一部です。

狭い主張の確認ではなく、新しい分野に取り組む場合は、references/research-immersion-strategy.mdを使用してください。探索的レビューと体系的レビュー、専門分野の枠を越える方法、サーベイ／レコメンダー／LLMの落とし穴、変化の速い分野における幅と深さの調整について説明しています。

引用のつながりをたどる。 連鎖の中で最も重要な論文は、必ずしも最も新しい論文とは限りません。5本の論文がすべて、重要な結果の出典として論文Aを引用しているなら、論文Aにあたり、その結果を直接確認してください。引用の伝言ゲーム、つまり論文Eによる論文Aの解釈が、論文A自身の記述と微妙に異なる現象は、非常によく起こります。

3. 目的に沿って読む。すべてを読む必要はありません

各重要論文では、目的に応じて次の順序でセクションを優先してください。

• 手法を知りたい場合：要旨 → はじめに（主張を理解するため） → セクション 3／4（実際の手法） → 実験（比較対象、データセット、評価指標） → 限界／結論
• 結果を知りたい場合：要旨 → 該当する表／図 → 実験設定 → 脚注と付録（注意点が記されています）
• 基礎を理解したい場合：はじめに → 関連研究 → 証明／導出（理論論文の場合） → 結論

自分の研究の根拠とする主張について、要旨だけを頼りにしないでください。要旨は宣伝です。証拠となるのは手法のセクションと実験表です。

4. 照合する。不一致を手掛かりにする

照合とは、情報源同士が一致する箇所だけでなく、食い違う箇所を積極的に探すことです。主な主張ごとに、次の点を確認してください。

• 当初の著者が作成していないベンチマークでも成り立ちますか？競合するグループの論文を確認してください。
• 再現されていますか？文献に否定的な結果や再現の失敗はありますか？
• 批評家がこのアプローチに反対する際、どの文献を引用していますか？その引用元をたどってください。
• 2つの論文が互いを上回ると主張している場合、その食い違いの原因は何ですか？（学習／テストの分割が異なるのか、ハイパーパラメーターの探索予算が異なるのか、タスクの定義が異なるのか、一方の論文でベースラインの調整が不十分なのか）

真の合意とは、答えに対して共通の利害を持たない独立した研究者たちが同じ結論に達することです。手法が広く採用されていることと、広く検証されていることは同じではありません。

5. 読んだ内容と推論を分ける

出力に含まれる事実の主張はすべて、特定の情報源をたどって確認できるようにしてください。この区別を明確に保ちます。

• 情報源で確認したこと：「論文 X はベンチマーク Y で F1 値 84.2 を報告している（表 3）。」
• 情報源から推論したこと：「この手法は Z では性能が低いため、改善は主にデータセット固有のものだと考えられます。」
• 未解決の点：「X と Y を条件をそろえて直接比較した論文は見つかりませんでした。」

分野内で意見が分かれている、あるいは答えが出ていない場合に、3つ目の区分を、合成した「分野の見解」という表現にまとめてはいけません。

6. 合意と誇張を見分ける

LLM、RL、拡散モデルなど、変化の速い分野では、独立した再現研究に耐えられない主張が数多く生まれます。結果の信頼性が高いと考えられる兆候は次のとおりです。

• 共著関係がなく、業界との所属関係も共有していないグループによって再現されている
• 当初の著者が作成していないベンチマークでも成り立つ
• 現実的なハイパーパラメーターの変動を考慮しても性能差が十分に大きい
• 説明が仕組みそのものに基づくほど手法が単純である（「Transformer だから機能する」ではない）
• 成功した反証が現れないまま 12 か月以上が経過している

結果が誇張されている可能性を示す兆候：

• 同じ論文で導入されたベンチマークでしかテストされていない
• ベースラインが競争力のある形で調整されていない（非常によくあります。ベースライン自身の論文で報告された数値と一致しているか確認してください）
• 査読済みの比較研究ではなく、リーダーボード上の結果である
• 肯定的な引用がすべて、元の著者の研究室によるものである
• メカニズムの説明がない創発／スケーリング現象に関する主張である

数学や理論の結果では、誇張と合意の区別は異なります。定理は証明されていれば証明されています（掲載先ではなく証明を確認してください）。代わりに注目すべきなのは、その定理の条件が、実際に利用している応用例で満たされているかどうかです。

7. 古さのリスクを明示する

研究の進展速度はサブ分野によって大きく異なります。おおよその目安は次のとおりです。

• 速い（数週間〜数か月で結果が更新される可能性があります）：LLM の事前学習、RLHF／アラインメント技術、マルチモーダルモデル、拡散モデル、検索拡張生成
• 中程度（数か月〜1〜2年）：GNN、効率化手法（量子化、蒸留）、特定のベンチマークコンペティション
• 遅い（数年〜数十年）：数学理論の大部分、基礎的なアルゴリズムの成果、ImageNet のような確立された実証ベンチマーク

進展の速い分野を扱う場合は、出力でその旨を明示し、検索日を記載してください。進展の速いサブ分野における重要な成果が発表から12か月以上経過している場合は、更新されている可能性があることを記し、確認のために検索すべき内容を示してください。

出力の構成

ユーザーのニーズに合わせて調整してください。ただし、ほとんどの場合、次のセクションが役立ちます。

• 対象範囲と位置づけ — このマップが答える具体的な問いと、意図的に対象外とする内容
• 全体像 — 主なアプローチ、それらの関係、およびそれらを導入した論文（引用付き）
• 最も強いエビデンス — 出典と再現状況を示した、最も堅牢に裏付けられている主張
• 実際に存在する意見の相違 — 分野内で実際に意見が分かれている点を、誤った統合を避けて説明
• 既知の弱点と見落とされている点 — 失敗例、十分に調査されていない設定、不足しているアブレーション、攻略されていることが知られているベンチマーク
• 未解決の問い — 文献で未解決の課題を、研究可能なほど具体的に提示
• 次に読む論文の推奨 — 各論文について1文の理由を添えた3〜7本の論文。多くの後続研究の基盤となっている論文や、最も信頼できる実証的エビデンスを示す論文を優先
• 出典 — 明らかでない主張にはすべて、論文タイトル、著者、発表年、掲載先（または arXiv ID）、URL を記載。コードについてはリポジトリに直接リンク

関連研究のセクションの場合：全体像と最も強いエビデンスを2〜4段落にまとめ、テーマ別に構成し、各テーマに対してユーザー自身の研究を位置づけてください。すべての論文を列挙せず、代表的な論文を引用してください。

ベースラインの選定の場合：最も強いエビデンスと既知の弱点のセクションを詳しく掘り下げてください。目的は、一部の「標準的な」ベースラインが弱い理由を含め、誠実で最善の比較方法を理解することです。

数学の文献の場合：全体像のセクションでは、論文タイトルだけでなく、定理や予想の関係を整理してください。条件付きの結果（X を仮定すると Y が成り立つ）、タイトな結果（一致する上界と下界）、そして現在の知識の限界がどこにあるかを明記してください。

出典が食い違う場合の対応

「同じ」ベンチマークで2本の論文が異なる数値を報告するのは例外ではなく、むしろ一般的です。統合する前に、次の点を確認してください。

1. 実際に同じ分割、前処理、評価プロトコルを使用しているか確認します。
2. 片方の論文のベースラインが適切に調整されているか確認します。ベースライン自体の論文が報告している数値と比較してください。
3. 一方の論文の結果が他方の結果を更新しているか確認します（同じ著者による、より多くのデータを使った、より優れた実装など）。
4. 上記で解決しない場合は、食い違いを明示して報告します。「論文AはXを報告しています。一方、論文Bは、両者の条件を一致させたと説明する設定でYを報告しています。この差異はどちらの論文でも説明されていません。」

誤った統合（「結果はまちまちです」）は、食い違いの報告よりも悪いものです。ユーザーが解明する必要があるかもしれない具体的な問いを覆い隠してしまうためです。

出力における認識論的な誠実さ

出力では、確信度を正確に表してください。

• 複数の独立した情報源に裏付けられた主張：そのまま述べます
• まだ再現されていない単一の論文に基づく主張：その旨を明記します
• 読み取ったのではなく推論した内容：「これは〜を示唆しています」または「一つの解釈としては」と述べます
• 一次情報源を見つけられなかった分野：その旨を明示します。「文献では X と Y を直接比較した研究は見つかりませんでした」と伝えることは有用な情報です
• 検索範囲が不完全である可能性が高い分野（例：英語以外の文献、ワークショップ論文、技術レポート）：その制約を明記します

主張を裏付ける独立した情報源を少なくとも3件示せない場合は、「この分野では〜と考えられています」や「一般に〜と認められています」といった表現を決して使わないでください。