fact-check

ファクトチェック・スキル

生成されたコンテンツの主張を体系的に検証します。幻覚、作話、根拠のない断定を見つけるために設計されています。

検証パスを分けることが重要な理由

根本的な問題： LLM は、次に続くはずの内容を予測することで、もっともらしいコンテンツを生成します。同じ仕組みが幻覚も生み出します。つまり、真実のように感じられるものの、実際には正しくない、自信に満ちた記述です。生成モードの LLM は、自らの幻覚を確実に見つけることができません。その理由は次のとおりです。

1. 注意が検証ではなく生成に向いている
2. 一貫性を保とうとする圧力により、誤った主張が文脈上正しいように感じられる
3. 誤りを生み出したのと同じ重みが、その誤りを正しいと判断する
4. 作話に反論する外部の根拠がない

解決策： 検証は、次の要素を備えた独立した認知パスで行う必要があります。

• 各主張だけに集中する、新たな注意
• 明示的な情報源の確認（記憶や学習データではない）
• コンテンツに対する批判的な姿勢
• 可能な場合は外部の根拠を使用する

診断状態

F1：検証パスなし

症状： ファクトチェックを行わずにコンテンツを生成し、提供している。 リスク： 幻覚が検出されずに通過する。 対処： 提供前に検証パスを実行します。主張を抽出し、それぞれを情報源と照合します。

F2：自己検証（無効）

症状： 生成と同時に、同じパスに「事実を確認する」よう求めている。 リスク： 誤りを生み出したのと同じプロセスによって誤りが確認され、誤った自信につながる。 対処： まず生成を完了し、その後、情報源の明示を求める別の検証パスを実行します。

F3：記憶に基づく検証（信頼性が低い）

症状： 外部の情報源を使わず、「自分が知っていること」と照らし合わせて主張を確認している。 リスク： 幻覚によって得られた知識で幻覚が検証される。 対処： 検証済みの各主張に対し、情報源の明示的な引用を必須とします。情報源がない場合は、未検証と記します。

F4：選択的な検証

症状： 一部の主張だけを確認し、残りは正しいものと見なしている。 リスク： 確認されていない主張に誤りが含まれている可能性がある。 対処： 検証可能な主張をすべて体系的に抽出します。それぞれを確認するか、確認していない項目を明示します。

F5：検証完了

症状： すべての主張を抽出し、情報源と照合したうえで、それぞれに信頼度を割り当てている。 指標： 情報源の引用があり、未検証の主張にはその旨が記され、信頼度が明示されている。

検証プロセス

フェーズ 1：主張の抽出

コンテンツから、検証可能な記述をすべて抽出します。

抽出する主張の種類：

• 事実の断定（「X は Y です」「X は Y を引き起こします」）
• 統計と数値（「…の 40％」「2023 年に…」）
• 出典の帰属（「X によると…」「研究によれば…」）
• 定義（「X は…を意味します」「X は…と定義されます」）
• 歴史に関する主張（「X は…年に起きました」「X は…によって設立されました」）
• 因果関係の主張（「X は Y につながります」「X は Y を防ぎます」）
• 比較の主張（「X は Y より優れています」「X は最大です」）

除外するもの：

• 意見であることが明示されているもの
• 仮説や推測（その旨が明記されている場合）
• 明示された前提からの論理的な推論
• 直接引用（内容ではなく、引用元を検証する）

フェーズ 2：主張の分類

検証可能性に応じて、各主張を分類します。

カテゴリ	説明	検証方法
検証可能・厳密	数値、日付、名前、引用	情報源と完全に一致する必要がある
検証可能・柔軟	一般的な事実、プロセス、メカニズム	情報源が実質的に裏付けている必要がある
出典の帰属	「X は…と言った」「…によると」	情報源が実在し、類似の内容を述べていることを確認する
推論	証拠から導かれた結論	前提を検証し、推論を評価する
事実として述べられた意見	客観的な事実として述べられた主観的な主張	表現の修正または限定を求める

フェーズ 3：情報源の検証

各主張について、検証を試みます。

## Claim Verification Log

### Claim 1: "[exact claim text]"
- **Category:** [Verifiable-Hard/Soft/Attribution/Inference]
- **Source checked:** [specific source]
- **Finding:** [Confirmed/Partially supported/Not found/Contradicted]
- **Confidence:** [High/Medium/Low]
- **Notes:** [discrepancies, qualifications needed]

### Claim 2: ...

検証結果：

結果	意味	対応
確認済み	情報源が主張を明示的に裏付けています	維持し、情報源を引用します
一部裏付けあり	情報源が一部のみを裏付けています	主張に条件を付けるか、範囲を限定します
未発見	情報源が見つかりませんでした	未検証と明記し、削除を検討します
矛盾あり	情報源が反対の内容を示しています	削除するか、修正します
古い情報	情報源が古く、現状と異なる可能性があります	更新するか、情報の時点に関する注意書きを加えます

フェーズ 4：信頼度の割り当て

コンテンツ全体の信頼度を割り当てます。

レベル	基準
高	重要な主張がすべて検証済みで、矛盾が見つかっていません
中	ほとんどの主張は検証済みで、未検証の主張が一部ありますが、妥当です
低	重要な主張が十分に検証されておらず、修正が必要な箇所があります
信頼できない	複数の矛盾が見つかり、大幅な修正が必要です

ハルシネーションのパターン

注意すべき一般的なハルシネーションの種類：

1. もっともらしい捏造

パターン： 正しそうに聞こえるが、実際には存在しない具体的な詳細。 例： 架空の論文の引用、存在しない統計、捏造された発言。 検出方法： 具体的な主張を一次情報源と照合して検証します。

2. 確信に満ちた推論

パターン： 妥当な推論を、確立された事実として述べます。 例： 「研究で示されています」（具体的な研究なし）、「専門家の間で合意されています」（引用なし）。 検出方法： 外部の裏付けに関する主張には、具体的な情報源を必須とします。

3. 時系列の混同

パターン： 異なる時期の情報を混在させます。 例： 古い統計を現在のものとして提示する、活動を終了した組織を活動中として説明する。 検出方法： 情報源の日付を確認し、現在の状況を検証します。

4. 出典のずれ

パターン： 正しい情報を誤った情報源に帰属させます。 例： 発言を誤った人物に帰属させる、調査結果を誤った研究に帰属させる。 検出方法： 内容だけでなく、帰属先も個別に検証します。

5. 情報源の混成

パターン： 複数の情報源の詳細を組み合わせ、架空の情報源を作り上げます。 例： 別々の論文にある実際の調査結果を組み合わせた架空の研究。 検出方法： その情報源が実在し、帰属された主張をすべて含んでいることを検証します。

6. 精度の水増し

パターン： 曖昧な知識に、誤った精度を付け加えます。 例： 裏付けられているのは「約半分」だけなのに、「約 47.3％」とする。 検出方法： 情報源が実際にその精度で情報を示しているか確認します。

検証チェックリスト

ファクトチェック済みのコンテンツを公開する前に：

• 主張を抽出しましたか？ 検証可能な記述をすべて特定した
• 情報源を確認しましたか？ 各主張を外部情報源と照合して検証した
• 記憶ではなく具体的な情報源を使いましたか？ LLM の学習データではなく、実際の情報源を使って検証した
• 矛盾を明記しましたか？ 主張と情報源の間にある矛盾を記録した
• 未検証であることを明記しましたか？ 情報源のない主張を明示的に特定した
• 信頼度を示しましたか？ 全体的な信頼性のレベルを伝えた
• 別個の検証工程を設けましたか？ 生成中ではなく、生成後に検証した

リサーチスキルとの連携

リサーチのフェーズ	ファクトチェックの役割
リサーチ中	情報源自体に含まれる主張を検証します
統合後	統合内容が情報源を正確に反映しているか検証します
提供前	最終確認を行い、出力内のハルシネーションを見つけます

引き継ぎの手順：

1. リサーチスキルが情報を収集し、統合します
2. リサーチに基づいてコンテンツを生成します
3. ファクトチェックのスキルを別工程として実行します
4. 修正を行い、信頼度を割り当てます
5. 検証状況を添えて出力を提供します

運用上の制約

このスキルでできないこと

1. 生成中の検証 — 別工程として実施する必要があります
2. すべてのハルシネーションの検出 — 見落としが発生する場合があります
3. 情報源なしでの検証 — 情報源がない場合は未検証であり、「知識によって検証済み」ではありません
4. 専門知識の代替 — 情報源の存在は確認できますが、品質は評価できません

検証が最も重要な場合

コンテキスト	検証レベル
公開コンテンツ	完全な検証が必須
意思決定の支援	主要な主張を検証する必要があります
教育コンテンツ	高い正確性が求められます
カジュアルな会話	簡易的な検証で問題ありません
創作小説	該当なし（基準が異なります）

アンチパターン

パターン	問題点	対処法
「自信があります」	自信 ≠ 正確性	出典の引用を必須にする
「私の知る限りでは」	記憶は信頼できません	外部の情報源を確認する
「一般的に言えば」	曖昧な表現が不確実性を隠します	具体的に述べるか、未検証であることを明示する
「調査によると」	どの調査ですか？	具体的な情報源を引用する
生成しながら検証する	同じ処理では自分の誤りを見つけられません	検証を別の処理で行うことが必須です
1つを確認して残りも推定する	検証が不十分です	すべて確認するか、未確認と明示する

出力形式

ファクトチェック済みのコンテンツを提供する場合：

## [Content Title]

[Content body with claims]

---

### Verification Status

**Overall Confidence:** [High/Medium/Low]

**Verified Claims:**
- [Claim 1] — Source: [citation]
- [Claim 2] — Source: [citation]

**Unverified Claims:**
- [Claim 3] — No source found; treat as uncertain

**Corrections Made:**
- [Original claim] → [Corrected claim] (Source: [citation])

**Caveats:**
- [Any limitations or qualifications]

出力の永続化

このスキルでは、作業をセッションをまたいで保持できるよう、主要な出力をファイルに保存します。

出力先の確認

ほかの作業を始める前に、次を行います。

1. プロジェクト内に context/output-config.md があるか確認します
2. 見つかった場合は、このスキルの項目を探します
3. 見つからない場合、またはこのスキルの項目がない場合は、まずユーザーに尋ねます：
   • 「このファクトチェックセッションの出力はどこに保存すればよいですか？」
   • 候補として explorations/fact-check/、またはこのプロジェクトに適した場所を提案します
4. ユーザーの希望を保存します：
   • コンテキストネットワークがある場合は context/output-config.md に保存します
   • それ以外の場合は、プロジェクトのルートにある .fact-check-output.md に保存します

主要な出力

このスキルでは、次の内容を保存します：

• 抽出した主張 — 特定した検証可能な記述すべて
• 検証結果 — 各主張とその出典およびステータス
• 信頼度の評価 — コンテンツ全体の信頼性
• 修正内容 — 原文から変更した箇所

会話とファイルの使い分け

ファイルに保存	会話に残す
検証ステータスのレポート	情報源についての議論
主張ごとの結果	確認のための質問
信頼度の評価	検証プロセス
修正内容と注意事項	リアルタイムのフィードバック

ファイル名

形式：{content-name}-factcheck-{date}.md 例：research-synthesis-factcheck-2025-01-15.md

情報源のフレームワーク

このスキルは、生成後の検証を通じてリサーチクラスターを拡張します。情報を収集するリサーチとは異なり、出力に対する品質管理として機能します。

関連項目：skills/research/SKILL.md（生成前）、references/doppelganger/（真実性の階層）