mcpField
F
fact-checking

fact-checking

github.com/seb1n生産性232156 回インストール11 週間前に更新
リポジトリ

fact-checking について

AI エージェントが主張を検証可能な項目に分け、信頼できる情報源と照合し、確信度と根拠を添えて判定するスキルです。単一の主張から多数の主張を含む記事まで扱えます。

主な機能

  1. 01主張の抽出と分類
  2. 02信頼できる情報源の選定
  3. 03証拠の相互照合
  4. 04確信度付きの判定
  5. 05構造化された検証レポート

活用シーン

  1. 01記事内の主張の検証
  2. 02統計や科学的記述の確認
  3. 03引用や発言者の確認

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/seb1n/awesome-ai-agent-skills --skill fact-checking

インストール後、Claude Code で/fact-checkingを入力して読み込まれたか確認します。

詳細

ファクトチェック

このスキルを使うと、AI エージェントが主張や記述を体系的に検証できます。単純に真偽を判定するのではなく、入力から個別に検証可能な主張を抽出し、それぞれについて信頼できる情報源を特定して、根拠を相互に照合したうえで、確信度と根拠に基づく構造化された判定を提示します。この手法は、単一の事実に関する主張から、数十件の主張を含む記事全体まで幅広く対応できるよう設計されています。

ワークフロー

  1. 主張の抽出: 入力テキストを解析し、個別に検証可能な主張を切り分けます。各主張は、独立して確認できる、単独で意味が通じる記述である必要があります。意見、主観的な判断、反証できない記述は除外し、出力では「検証不可」と記載します。

  2. 主張の種類の分類: 各主張を、統計(数値やデータを含む)、歴史(過去の出来事に言及する)、科学(研究結果に言及する)、定義(用語を定義する)、帰属(人物や組織の発言として述べる)のいずれかに分類します。この分類をもとに、検証に使う情報源を判断します。

  3. 信頼できる情報源の特定: 各主張について、検証に最適な情報源を判断します。可能な限り一次情報源を使用します。たとえば、統計には公式データセット、科学的な主張には査読済み論文、引用には保存された議事録や書き起こし、法律や政策に関する主張には政府の記録を使用します。Snopes、PolitiFact、Full Fact など、定評のあるファクトチェック機関といった信頼できる二次情報源で補います。

  4. 根拠の相互照合と評価: 各主張を、少なくとも独立した2つの情報源と照合します。情報源が主張を裏付けているか、一部を裏付けているか、または矛盾しているかを記録します。権威性、情報の新しさ、方法論、潜在的な偏りを考慮して、情報源の信頼性を評価します。

  5. 判定と確信度スコアの付与: 各主張に、次の尺度から判定を付与します。真実、おおむね真実、半分真実、おおむね誤り、誤り、検証不可。利用可能な根拠の強さと一貫性を反映した確信度スコア(0.0~1.0)と、簡潔な根拠を各判定に添えます。

  6. ファクトチェックレポートの作成: 各主張、その判定、確信度スコア、根拠、情報源へのリンクを一覧にして、構造化された形式で結果を提示します。元のテキストの正確さを要約した総合評価も含めます。

使用方法

エージェントに、ファクトチェックする文、段落、または記事全体を渡します。優先して確認する主張を指定したり、出力形式を指定したりすることもできます。

Fact-check the following statement:
"Python is the most popular programming language in 2025 according to the TIOBE Index,
and it was created by James Gosling at Sun Microsystems in 1991."

例

例1:技術ブログ記事のファクトチェック

ユーザーの依頼:

次のブログ記事の抜粋にある主要な主張をファクトチェックしてください。 「RustはCと比べて実行時オーバーヘッドがゼロであり、利用可能なシステムプログラミング言語の中で最速です。Linuxカーネルは2024年にRustを主要な開発言語として採用し、Cを完全に置き換えました。Stack Overflowの2024年の調査によると、Rustは9年連続で最も高く評価された言語です。」

抽出された主張:

#主張種類
1RustはCと比べて実行時オーバーヘッドがゼロである科学・技術
2Rustは利用可能なシステムプログラミング言語の中で最速である比較
3Linuxカーネルは2024年にRustを主要言語として採用した歴史
4RustはLinuxカーネルでCを完全に置き換えた歴史
5Stack Overflowによると、Rustは9年連続で最も高く評価された言語である統計

ファクトチェックの結果:

#判定確信度根拠
1おおむね正しい0.80Rustのゼロコスト抽象化は、Cと同等のマシンコードにコンパイルされます。ただし、一部の実行時機能(境界チェックやパニック時のスタック巻き戻し)にはわずかなオーバーヘッドが発生します。出典:Rust Performance Book
2半分正しい0.50ベンチマークでは、ほとんどのタスクでRustとCの性能差は0~5%以内ですが、どちらかが一貫して「勝る」わけではありません。特定の数値計算ワークロードでは、Fortranのほうが両者を上回ります。出典:Benchmarks Game
3おおむね誤り0.90RustはLinux 6.1(2022年)でドライバーとモジュールの開発に使用することが認められ、その後のリリースで範囲が拡大しましたが、Cを補完するものです。「主要」言語として採用されたことはありません。出典:LWN.net kernel Rust coverage
4誤り0.95Linuxカーネルでは、現在もCが主流の言語です。Rustは一部の新しいモジュールでのみ使用されています。出典:kernel.org Git stats
5おおむね正しい0.85Stack Overflowは2023年に「Most Loved」を「Most Admired」に改称しました。Rustは2016~2022年に「Most Loved」で7年間、2023~2024年に「Most Admired」で2年間トップとなり、合計9年間にわたります。出典:Stack Overflow Developer Survey Archives

総合評価: ブログ記事には、技術的におおむね正しい主張と、RustのLinuxカーネルにおける役割を大幅に誇張した主張が混在しています。カーネルに関する主張には注意が必要です。


例 2:統計的な主張のファクトチェック

ユーザーの依頼:

検証してください:「2024年、世界のAI支出は2,000億ドルに達し、Fortune 500企業の75%が生成AIを本番環境に導入しました。企業向けAIプロジェクトの初年度の平均ROIは3.5倍です。」

抽出された主張:

#主張種類
12024年、世界のAI支出は2,000億ドルに達した統計
2Fortune 500企業の75%が生成AIを本番環境に導入した統計
3企業向けAIプロジェクトの初年度の平均ROIは3.5倍である統計

ファクトチェックの結果:

#判定確信度根拠
1おおむね正しい0.75IDCは2024年の世界のAI支出を1,840億ドルと推定し、Gartnerは1,960億ドルと予測しました。2,000億ドルという数字は高い方の推定値に近いものの、正確ではありません。出典:IDC Worldwide AI Spending Guide(2024年10月)、Gartner AI Forecast(2024年11月)
2半分正しい0.60McKinseyの2024年の調査では、調査対象となった組織の72%(Fortune 500に限らない)が何らかの形でAIを導入しており、65%が生成AIを利用していることが分かりました。「本番環境での導入」と「試験導入」の違いは重要ですが、元の主張では区別されていません。出典:McKinsey Global AI Survey 2024
3検証不能0.30企業向けAIの一般化可能な「平均ROI」を公表した、信頼できる大規模調査はありません。個々の事例の数値には大きな幅があります(0.5倍から10倍以上)。BCGとMIT Sloanは、一般化されたROIの主張に注意を促しています。出典:MIT Sloan Management Review(2024年)

総合評価: 支出額はおおむね正しく、導入率も大まかな範囲では合っていますが、精度に欠けます。ROIの主張には信頼できる出典がなく、条件を明記せずに引用すべきではありません。

ベストプラクティス

  • 検証する前に主張を個別に分けます。 複雑な文には複数の主張が含まれていることがよくあります。分割すれば、見落としを防ぎ、判定の精度を保てます。
  • 二次報道より一次情報を優先します。 「ある調査でXが分かった」と伝えるニュース記事より、調査そのものを読む方が信頼できます。主張の出所を必ずたどってください。
  • 文脈と表現の仕方を考慮します。 数値が技術的には正しくても、文脈から切り離すと誤解を招くことがあります。主張自体は正しくても、誤った含意を持つように示されている場合は、その点を指摘してください。
  • 確信度を誠実に示します。 スコアが0.5でも失敗ではありません。実際に曖昧さがあることを表しています。過度に断定的な判定は、正直に不確実性を示すよりも信頼を損ないます。
  • 主張と出典の日付を確認します。 2020年には正しかった主張が、2025年には誤りになっている場合があります。根拠が主張の時点に照らして適切か、必ず確認してください。
  • 「誤り」と「検証不能」を区別します。 どちらの立場を裏付ける信頼できる根拠もない場合は、「誤り」ではなく「検証不能」と判定してください。

特殊なケース

  • 将来に関する主張: 「AIが2030年までに仕事の50%を代替する」のような予測は、根拠に照らして事実確認できません。「予測 — 検証不能」とラベル付けし、予測の出典の信頼性を記載してください。
  • 急速に変化する統計: 暗号資産の価格やCOVIDの感染者数など、頻繁に更新される指標に関する主張では、主張の基準日と検証日を記載してください。日付によって回答が異なる可能性があるためです。
  • 風刺的または誇張された内容: 情報源が明らかに風刺的である場合や、修辞的な効果を狙って意図的に誇張している場合は、文字どおりに「誤り」と判定するのではなく、その文脈を記載してください。
  • 権威ある情報源がない主張: 社内指標など、ニッチな主張や独自情報に関する主張には、一般公開されていて検証可能な情報源がない場合があります。「検証不能 — 公開情報源なし」とラベル付けし、主張者に資料を求めるようユーザーに勧めてください。
  • 曖昧な表現: 主張に複数の解釈が可能な場合(たとえば「最も人気がある」が、利用状況、調査結果、ダウンロード数のいずれを指すのか不明な場合)は、最も妥当な解釈に基づいて評価し、曖昧さを記載してください。

コメント