claim-source-verification

主張と出典の検証

概要

引用が完全に実在し、形式も完璧に整っていても、誤りであることがあります。引用先の論文が、その文で主張されている内容を述べていないためです。このスキルが検出するのはこの種の誤りであり、最もよく起こる問題でもあります。

この手順の基準となったのは、実際のReview原稿です。7人の調査エージェントが、未解決の事実に関する質問44件を解決するために139件の出典を提案しました。その後、独立した懐疑的検証者がすべてを再確認し、55件を却下しました。

却下の分類	件数
does_not_support_claim	29
metadata_wrong	12
wrong_site_or_population	6
not_primary_but_required_to_be	5
paywalled_unverifiable	3

**捏造されたものはありませんでした。**却下された出典はすべて、実在し、検索可能で、DOIも実在する論文でした。存在確認を行っても、139件すべてが通過していたでしょう。メタデータを確認すれば、12件は検出できたでしょう。しかし、却下全体の半数を超える最多の分類は、どちらの確認でも見つけられません。実在する論文に、論文が導いていない結論を裏付けさせていたのです。

したがって、運用上のルールは次のとおりです。出典が実在することは、その出典が主張を裏付ける証拠にはなりません。また、参考文献の監査に問題がないことは、何の証拠にもなりません。

使用する場面

次の場合に、このスキルを使用します。

• エージェント、共同研究者、文献検索ツールが参考文献を提案したものの、まだ敵対的な検証が行われていない場合
• 原稿に、引用元までたどれる定量的な主張（限界値、しきい値、誤り率、標準条項、ベンチマークの数値）が含まれている場合
• 未解決の事実確認や出典確認の項目を、まとめて解決しようとしている場合
• Reviewやサーベイの出典を確認する場合。そこでは、主張の大半が著者自身の測定ではなく、他者による測定に関するものです

次の場合には、このスキルを使用しないでください。

• BibTeXキーの重複、DOIの構文、フィールドの欠落、プレースホルダーのエントリの確認。これはcitation-verifierの役割であり、このスキルの代わりではなく、前に実行します。
• 文献を一から探すこと。これは--set allでインストールするacademic-researcherの役割です。このスキルでは、その調査で得られた結果を確認します。
• 主張に興味深さがあるかを判断すること。これはmanuscript-optimizerの役割です。

この3つを組み合わせて使います。整備にはcitation-verifier、主張の裏付け確認にはこのスキル、そして（任意のセットである--set allに含まれる）reference-audit-guideで、主張を裏付けるかどうかを確認する前に、引用された著作物が実在することを機械的に検証します。

2つの役割によるプロトコル

検証は敵対的に、かつ別々に行う必要があります。出典を提案した研究者がその出典を自分で確認すると、すでにその出典を信じているため、正しいと判断してしまいます。2つの役割を用意してください。

提案者。1つの主張を受け取り、それを裏付ける出典を探します。出典ごとに、識別子、メタデータ、そして主張を裏付ける出典内の文を、原文のまま引用して返します。

**懐疑的検証者。**主張と提案された出典を受け取り、その組み合わせに反証を試みます。提案者の推論を一度も見ていない、新しいコンテキストで実行してください。

懐疑的検証を機能させるには、次の3つのルールが重要です。

1. **デフォルトの判定は却下です。**不確実な場合は、出典に有利ではなく不利に判断します。却下するには説得が必要な懐疑的検証者は、ほぼすべてを承認してしまいます。
2. **裏付けとなる文の原文引用がなければ、承認しません。**主張を裏付ける箇所を引用できなければ、どれほどもっともらしく見えても、その組み合わせは却下します。このルールだけで、does_not_support_claimの29件の却下の大半につながりました。
3. **検証には、調査より多くのリソースを割り当てます。**懐疑的検証者は実際の出典を読みますが、提案者は要旨しか読まないことがよくあります。検証段階には、調査段階より多くの推論予算を割り当ててください。

主張が複数の点で誤り得る場合は、同じ検証を3回繰り返すのではなく、異なる観点を懐疑的検証者に与えてください。出典にその記述があるか、対象集団は適切か、一次資料かをそれぞれ確認します。多様な観点は、単なる重複では検出できない失敗のパターンを見つけます。

references/adversarial-protocol.mdには、プロンプトの形式と構造化出力のスキーマが記載されています。

4 つの結果。2 つではありません

確認済みか却下済みかの 2 択では不十分です。異なる 2 つの状況を同じ区分にまとめ、最も重要な違いが失われてしまうためです。

• 確認済み。 ソースが主張を裏付け、メタデータが正しく、裏付けとなる文が引用されています。この引用を付けて、その主張を原稿に盛り込めます。
• 部分的。 調査結果は妥当ですが、提案されたソースのうち少なくとも 1 つを先に差し替える必要があります。適用しないでください。マーカーを削除しないでください。 部分的な結果を完了済みとして原稿に書き込むと、監査記録には検証済みと記されているのに、裏付けのない文が草稿に入り込んでしまいます。
• 却下。 提案されたものの中に、主張を裏付けるものはありません。残ったソースで裏付けられる内容まで主張を絞り込むか、その文を削除します。
• ブロック。 答えは存在しますが、ペイウォールの向こうにあるか、ベンダー独自のデータに含まれるか、著者だけが下せる判断を必要とします。これは実際にある状態です。未完了の作業に見えるままにせず、状態として報告する必要があります。

上記の実行では、44 個のマーカーを調査しました。8 個はそのまま処理済みとなり、2 個は残ったソースが裏付ける内容まで絞り込まれ、25 個は部分的という結果になりました。これは他を大きく上回る最多の区分でした。これを前提に計画してください。検証を一巡した後の作業の大半は、主張の書き直しではなく、個々のソースの差し替えです。

要注意の落とし穴

以下はすべて、上記の実行で実際に却下されたケースです。プロジェクトをまたいで繰り返し発生するため、名前で確認してください。

算出値を測定値に見せかける。 ある提案では、等価入力雑音 31 dB(A) がデータシート上の値として示されていました。しかし、データシートに記載されているのは 63 dB(A) の信号対雑音比のみです。31 は 94 から 63 を引いて算出した値であり、提案者が計算したものを測定値として示していました。数値ごとに確認してください。これはソースに記載されているのか、それともソースから計算したものなのか。計算した数値には、その計算過程を示す必要があります。

1 つの書誌キーに複数の著作を詰め込む。 1 件の BibTeX エントリーに、1984 年のモノグラフと、1990 年の学術誌の改訂版の巻数・ページ番号を混在させ、3 つの異なる著作を詰め込んでいました。いずれの著作も実在します。しかし、参考文献としては誤りです。エントリーのすべてのフィールドが、同じ資料に由来していることを確認してください。

誤りよりひどい修正。 提案された著者リストの「修正」では、著者が 20 名以上いる論文の 3 番目と 5 番目の著者が、気づかれないまま削除されていました。既存の不完全なエントリーのほうが、差し替え案より誤りが少なかったのです。修正も原文と同じくらい疑って検証してください。修正案には、確認済みという権威がまとわりついています。

一次資料のない教科書上の定説。 ある 2 つの周波数範囲は何十年にもわたって引用され、あらゆる二次資料に記載されていました。しかし、その範囲を報告した一次研究はありません。すべての引用をたどると別の引用に行き着く場合、その主張は俗説です。測定結果を見つけるか、その範囲を慣例として報告し、そう明記してください。

誰も確認していない資料を引用する差し替え。 差し替え案のテキストでは、全文がペイウォールの向こうにあり、取得もされていない論文の特定の図を引用していました。この提案自体が検証不可能でした。開けなかったソースを確認済みのソースとすることはできません。確認済みではなく、ブロックに分類してください。

あるチームの選択を分野全体の慣行として扱う。 ある 1 つのグループが行った前処理の判断を、標準的な手法として記述していました。範囲を示す言葉を確認してください。ソースにあるのは「私たちは」なのか、それとも「一般に」なのか。

サイトも対象集団も違う。 却下 6 件は、適切な量を測定していたものの、測定部位、対象コホート、または撮影条件が異なるソースでした。メタデータは正しく、主張も一般的には正しいものの、組み合わせが誤っていました。誰を対象に何を測定したのか、必ず確認してください。

references/rejection-taxonomy.md に、各区分の判断基準が記載されています。

検証によって原稿の結論が覆ったとき

このケースが、この作業全体を正当化するものであり、独自のプロトコルが必要です。これは出典に関する結果ではなく、科学的な結果だからです。

上記の実行では、ある検証者が、規格で信号チャネルに物理量の次元が与えられているかを確認しました。規格を誰も読んでいない段階で書かれた草稿には、そのチャネルは固定スケール上の未校正の整数カウントであり、基準量はメーカーに委ねられていると記されていました。規格の7.7節には正反対のことが書かれています。単位はニュートンであり、記録された整数は、記録に含まれるスケーリング値で割って元に戻されます。研究者と批判的検証者の双方が、出版社のプレビューから該当の一文をそのまま抜き出しました。

このようなことが起きたときのプロトコルは次のとおりです。

1. 黙って反映しないでください。 記録のない結論の変更は、内容の変化と区別がつきません。
2. 黙って取り下げることもしないでください。 都合の悪い発見を慎重さを理由に保留にするのは、より丁寧な形をした同じ過ちです。
3. 4つの要素すべてを書き留めてください：草稿に書かれていたこと、出典に書かれていること、引用する節の原文、および周辺の論証がなお成立するかどうかです。
4. 論証が強まったのか弱まったのかを明記してください。 このケースでは、より明確になりました。単位は相互運用形式には存在しますが、どの取得デバイスもコーパスもそれを提供していないため、この節では以前よりも正確な指摘ができます。記録に単位を指定することと、トランスダクションを正規化することは同じではありません。
5. 独立した見出しを付けて著者に知らせてください。 結論レベルの編集は著者が判断します。
6. 待たない唯一の例外：反映しないことで、引用元と矛盾する一文を故意に残すことになる場合は、直ちに反映してください。その場合も、必ずその旨を報告してください。保留ではなく反映したことと、その理由を明記します。

出典がないものも削除してください。同じ検証者が、出典を一切特定できないスケールの数値も提示していました。その数値は削除し、代わりの内容は追加しませんでした。

報告

結果は、チャットメッセージではなく、後から参照できる永続的なログとして記録してください。次の確認作業で読める必要があります。

解決ログ：確認した主張ごとに1行とし、検証者または該当箇所、結果、および何が確認できたかを述べる一文を記載します。根拠となった出典を明記してください。

PARTIAL セクション：各項目の妨げとなっているものを列挙します。どの出典を差し替える必要があるのか、その理由も具体的に記してください。

警告として引き継ぐ却下事項。 ここは誰もが省略しがちですが、役に立つのはここです。却下した出典とその理由を記録し、次の調査で再び提案されないようにしてください。上記の却下のうち4件は、そうしなければ再び持ち出されるため、原稿のトリアージファイルに記録されました。

件数。 提案数、却下数、およびクラス別の却下数です。検証作業で実際にどれだけ確認できたかを正直に要約できるのは、この数値だけです。

継続適用ルール

1. 記憶を頼りに引用を記載しないでください。 キーも、年も、巻も同様です。記憶に頼った識別情報は捏造です。
2. 値の出典を特定できない場合は、その文にマーカーを付けるか、文を削除してください。 マーカーを付けずに残すという第三の選択肢はありません。
3. 否定的な主張では、その対象範囲を明示してください。 「そのような評価は存在しない」は、「<名前を挙げたプログラムおよび文書>のいずれにも、そのような評価の報告はない」とします。対象範囲は文中に含め、「確認した限りでは」という監査上の表現は含めません。
4. 未検証の版年は推測せず、省略してください。 年の記載がない規格も、通常どおり正しい項目です。監査を通すために年を推測するのは、緑色のチェックマークを付けた捏造です。
5. 確認件数だけでなく、却下件数も報告してください。 すべてを確認できた検証作業は、何も検証していません。