ai-hallucination-fact-check-protocol

AI のハルシネーションを事実確認するプロトコル

このスキルでできること

AI 生成テキストに特化した事実確認プロトコルを作成します。SIFT フレームワーク（Caulfield、2019）を拡張し、LLM のハルシネーション特有の課題に対処するための、AI に特化した手順を加えます。一般的なラテラル・リーディングでは、資金提供元や信頼性を調査できる、組織に属する著者が情報源にいることを前提としています。この前提は、AI 生成テキストでは成り立ちません。調査対象となる著者も、確認すべき組織からの資金提供も、精査できる「会社概要」ページもありません。残るのは「主張をたどる」という手順ですが、この手順には AI に特化した調整が必要です。AI のハルシネーションには、いくつかの形があります。捏造された引用（実在しない研究、または実在するものの一度も出版されていない研究）、創作された統計（もっともらしい精度の数値だが、検証可能な出典がないもの）、誤って帰属された実在の引用（実在する論文を誤った著者や学術誌に帰属させるもの）、誤った合意の主張（そのような合意が存在しないのに「ほとんどの科学者が同意している」と述べるもの）です。それぞれに異なる検証手順が必要です。出力には、対象分野におけるハルシネーションの種類の分類、AI に適応した SIFT プロトコル、主張の種類ごとの具体的な検証手順、教室で行う「ハルシネーション探し」アクティビティ、実在する引用と捏造された引用の違いを示す教師向けのモデル提示用スクリプトが含まれます。

根拠となる研究

Wineburg と McGrew（2017、2019）は、専門のファクトチェッカーが情報源の評価において生徒や教授を上回ることを、実証研究によって明らかにしました。その理由は、ファクトチェッカーが垂直的な読み方（情報源そのものを分析し、信頼性の手掛かりを探すこと）ではなく、ラテラル・リーディング（新しいタブをすぐに開き、外部の情報源がその情報源について何を述べているかを確認すること）を使うためです。この研究が SIFT フレームワークの基礎となっています。しかし、ラテラル・リーディングは、調査可能な組織的アイデンティティを持つ情報源を対象に設計されました。「情報源」が LLM の場合、SIFT の「調査」ステップには調整が必要です。組織的アイデンティティも、資金提供の経路も、編集委員会もありません。ラテラル・リーディングから残るのは「主張をたどる」という手順です。つまり、引用された根拠が実在し、AI が主張する内容を述べているかを検証します。Caulfield（2019）による SIFT の運用方法が、ここで拡張する構造的な枠組みとなっています。Breakstone ら（2021）は、生徒はオンライン情報源を評価する能力が十分ではなく、表面的な信頼性の手掛かりに頼っていることを明らかにしました。流暢で権威があるように聞こえる AI 出力によって、この脆弱性は著しく増幅されます。Ji ら（2023）は、自然言語生成におけるハルシネーションを体系的に調査し、LLM におけるハルシネーションの発生頻度と種類を記録しました。具体的には、元の資料と矛盾する内在的ハルシネーション、検証不可能または捏造された情報を追加する外在的ハルシネーション、事実の不整合です。彼らの分類は、このプロトコルにおけるハルシネーションのカテゴリに直接反映されています。

入力スキーマ

教師が次の情報を入力します。

• AI 出力の文脈： 事実確認の対象となる AI コンテンツの種類。例：「最近の心理学研究を、研究名を挙げて要約した ChatGPT の回答」／「特定の歴史家とその主張を挙げた、第一次世界大戦の原因に関する AI の解説」／「10 代の食生活の統計を含む、栄養に関するチャットボットの回答」
• 生徒の学年・レベル： 学年とデジタルリテラシー。例：「11 年生。Google 検索には慣れているが、情報源の評価について正式に学んだことはない」／「9 年生。基本的なインターネットリテラシーがある」

任意項目（利用可能な場合、コンテキストエンジンが追加）：

• 教科分野： 分野の文脈。ハルシネーションのパターンは分野によって異なります。
• ハルシネーションのリスク： この文脈で最も起こりやすいハルシネーションの種類
• 検証リソース： 生徒が利用できるツール
• AI ツール： 出力を生成した AI システム

プロンプト

You are an expert in digital literacy and AI verification pedagogy, with deep knowledge of Wineburg & McGrew's (2017, 2019) lateral reading research, Caulfield's (2019) SIFT framework, Breakstone et al.'s (2021) work on students' online reasoning, and Ji et al.'s (2023) taxonomy of hallucination types in natural language generation. You understand the critical limitation of standard lateral reading when applied to AI-generated content: SIFT's "Investigate the source" step assumes an institutional author whose funding and credibility can be checked externally. LLMs have no institutional author. The adaptation required is to replace "Investigate the source" with "Reconstruct the source" — verifying that cited sources exist and say what the AI claims, and that un-cited statistics have traceable origins.

CRITICAL PRINCIPLES FOR AI FACT-CHECKING:
- **AI hallucinations are qualitatively different from human misinformation.** A biased human source has a motive you can investigate. AI fabricates because of statistical patterns in training data — it produces plausible-sounding text. There is no motive to find; there is a verification deficit to expose.
- **The most dangerous hallucinations are the ones that look most real.** A citation to a non-existent study is dangerous precisely because it includes a real-sounding author name, a real-sounding journal title, and a plausible-sounding year. Students who have learned "check the source" may feel they have verified the citation when they have not.
- **Verification requires SOURCE RECONSTRUCTION, not source investigation.** The fact-checker's move with AI is: (1) Does this source exist? (2) Does it say what the AI claims? This is different from asking "Is this source credible?" — it is asking "Does this source exist at all?"
- **Not all hallucinations are dramatic.** The most common AI hallucinations are subtle: a real study presented with the wrong year, a real statistic from a different context, a real author attributed with a paper they didn't write. Students need protocols for subtle errors, not just obvious fabrications.
- **Absence of citation is not hallucination.** AI often omits citations entirely. This is an accuracy problem (Ennis standard) but not hallucination. The specific concern is when AI PROVIDES citations or statistics — that is when verification moves are needed.

Your task is to generate an AI hallucination fact-check protocol for:

**AI output context:** {{ai_output_context}}
**Student level:** {{student_level}}

The following optional context may or may not be provided. Use whatever is available; ignore fields marked "not provided."

**Subject area:** {{subject_area}} — if not provided, infer from the context and adapt hallucination types accordingly.
**Hallucination risk:** {{hallucination_risk}} — if not provided, identify the 2-3 most likely hallucination types for this subject and output type.
**Verification resources:** {{verification_resources}} — if not provided, design for Google + Google Scholar + Wikipedia as the baseline verification toolkit.
**AI tool:** {{ai_tool}} — if not provided, assume a general-purpose LLM chatbot.

Return your output in this exact format:

## AI Hallucination Fact-Check Protocol: [Context]

**For:** [Student level]
**Output type:** [Type of AI content]
**Highest-risk hallucination types:** [The 2-3 most likely for this context]

### Hallucination Taxonomy

[For each relevant hallucination type:]

**[Type name]**
- **What it looks like:** [Specific example appropriate to this context]
- **Why it's dangerous:** [Why students are likely to miss it]
- **How to verify:** [The specific verification move]

### AI-Adapted SIFT Protocol

**S — Stop**
[Pause-and-check instruction adapted for AI context]

**I — Identify the claim type**
[For AI, "Investigate the source" becomes "Identify what kind of claim this is." Guide students to classify claims before attempting verification — statistics need one move, citations need another, expert quotes need another.]

**F — Find the original**
[Source reconstruction: find whether cited sources exist, then find whether they say what the AI claims]

**T — Trace unattributed claims**
[What to do with statistics and claims that have no citation — lateral reading for the underlying data]

### Verification Moves

[For each claim type — statistics, citations, named studies, expert quotes, event claims — provide:]

**Verifying [claim type]:**
- **Step 1:** [What to search/check first]
- **Step 2:** [How to confirm existence vs. content]
- **Red flags:** [Signs that the claim may be hallucinated]
- **Example:** [A specific walkthrough]

### Hallucination Hunt Activity

**Setup:** [How to prepare the activity — what AI output to use, what students receive]

**Round 1 — Identify verification targets (X minutes):** [Instructions]

**Round 2 — Verify (X minutes):** [Instructions with specific verification steps]

**Round 3 — Report and discuss (X minutes):** [Class debrief protocol]

**Discussion questions:** [Questions that draw out the pedagogical insight — what did finding/not finding a hallucination teach about AI reliability?]

### Teacher Modelling Script

[Think-aloud script — 200-300 words — demonstrating the difference between finding a real citation and finding a fabricated one, walking through the verification moves explicitly]

**Self-check before returning output:** Verify that (a) the hallucination taxonomy is specific to this subject and output type, (b) the SIFT adaptation explicitly replaces "Investigate the source" with something workable for AI, (c) verification moves are specific enough to follow, (d) the activity creates genuine discovery moments rather than just confirming what students already suspect, and (e) the modelling script shows both a successful verification AND a hallucination discovery.

出力例

シナリオ： AI 出力のコンテキスト：「Year 11 の心理学の生徒が、ソーシャルメディアと思春期のメンタルヘルスに関する研究の要約を得るため、ChatGPT を使用しました。AI は 200 語の回答を生成し、次の記述を含んでいました。『Twenge と共同研究者が 2021 年に JAMA Psychiatry に発表した研究によると、ソーシャルメディアを毎日 3 時間以上利用すると、10 代の若者のうつ病リスクが 47％上昇します。』」／生徒のレベル：「Year 11、基本的なインターネットリテラシー、情報源を評価する正式なトレーニングは受けていない」／教科：「心理学」／検証リソース：「Google、Google Scholar、学校の図書館データベース」

---

AI のハルシネーション事実確認プロトコル：心理学研究の引用

対象： Year 11、基本的なインターネットリテラシー 出力形式： 引用元を明記した、AI 生成の研究要約 最もリスクの高いハルシネーションの種類： 引用の捏造（実在する著者、誤った研究）、統計の創作（もっともらしい数値、実在する情報源なし）、文脈の誤認（実在する研究、誤った対象集団または文脈）

ハルシネーションの分類

引用の捏造：実在する著者、誤った研究

• どのようなものか： 「Twenge と共同研究者（2021）、JAMA Psychiatry」――Jean Twenge は、ソーシャルメディアとメンタルヘルスを実際に研究している実在の研究者です。JAMA Psychiatry も実在する学術誌です。しかし、この特定の研究は 2021 年に存在したのでしょうか。AI は実在する名前と学術誌を使い、実在したことがないかもしれない、もっともらしい引用を作り上げています。
• なぜ危険なのか： 生徒が「Twenge social media mental health」で検索すると、Twenge の実在する論文が見つかり、特定の研究ではなく著者が実在することしか確認していないのに、引用を検証できたと思い込む可能性があります。
• 確認方法： Google Scholar で「Twenge JAMA Psychiatry 2021」を検索し、この説明に一致する論文が表示されるか確認します。次に、要旨を読んで、AI が述べている内容が書かれているかを確認します。

統計の創作

• どのようなものか： 「うつ病リスクが 47％上昇します」――具体的で、正確そうに見える数値です。実際の心理学研究では、単純な「47％」のような数値ではなく、効果量、相関、信頼区間が報告されます。
• なぜ危険なのか： 具体性は正確さを感じさせます。50％のような丸い割合は疑いを招くかもしれませんが、47％は実際の分析から得られたように聞こえます。
• 確認方法： 元の研究を見つけます。「47％」という数値が報告されていますか。論文がオッズ比や相関係数を報告している場合、AI が誤って換算したか、あるいは数値を完全に捏造した可能性があります。

文脈の誤認

• どのようなものか： 実際の研究結果が、原研究では特定の対象集団（たとえば、米国の 10～14 歳の女子のみ、または既存のメンタルヘルス上の問題を抱える臨床サンプル）を対象としていたにもかかわらず、一般的な 10 代の若者全体に当てはまるかのように報告されています。
• なぜ危険なのか： 引用の内容は正しく、研究も実在しますが、記述された主張は、証拠が裏付ける範囲を超えています。
• 確認方法： 論文が見つかったら、方法のセクションを読みます。対象となったサンプルは誰でしたか。AI の主張は、研究の実際の対象範囲と一致していますか。

AI に適応した SIFT プロトコル

S — 立ち止まる AI の回答から何かをコピーしたり引用したりする前に、立ち止まってください。AI が生成した調査の要約には、実在するように聞こえるものの、検証されていない引用が頻繁に含まれています。エッセイやプロジェクトに検証されていない AI の引用が一つでもあると、問題になりかねません。先に進む前に立ち止まり、確認してください。

I — 主張の種類を見極める AI の文章では、「情報源を調査する」方法は通用しません。AI が情報源であり、それ自体について調査することはできないからです。代わりに、文章内の具体的な主張を一つずつ分類してください。

• 著者名を挙げた引用：「Smith（2022）によると……」→ 存在確認＋内容確認が必要
• 統計的な主張：「X％の……」→ 情報源の特定が必要
• 専門家への帰属：「[機関]の研究者が発見した……」→ 機関＋研究の確認が必要
• コンセンサスに関する主張：「ほとんどの心理学者が同意している……」→ 裏付けの確認が必要

F — 原典を探す 著者名を挙げた引用については、（1）Google Scholar で著者名＋学術誌名＋年を検索します。（2）論文が見つかったら、開いて確認します。AI の主張どおりの内容が書かれていますか。（3）論文が見つからない場合、その引用は捏造されている可能性があります。

出典のない統計については、具体的な主張を引用符で囲んで検索します（「47% depression risk social media」）。査読済みの情報源にたどり着けなければ、その統計は検証できず、幻覚の可能性があります。

T — コンセンサスに関する主張をたどる AI が特定の情報源を挙げずに「研究によると」や「複数の研究で明らかになっている」と述べる場合は、独立した、著者名の明らかな情報源から裏付けとなる証拠を探してください。反対の結論を示す、十分に引用されたシステマティックレビューが一つ見つかった場合、AI のコンセンサスに関する主張は過度の一般化かもしれません。

検証の手順

著者名を挙げた引用の検証（例：「Twenge et al., 2021, JAMA Psychiatry」）：

• ステップ 1： Google Scholar を開きます。「Twenge 2021 JAMA Psychiatry social media」と検索し、最初の 5 件の検索結果を確認します。
• ステップ 2： 該当する論文が見つかったら、クリックして抄録を確認します。AI が述べた具体的な主張（うつ病の増加が 47％）が報告されていますか。
• 注意すべき点： Scholar に論文が見つからない。論文は存在するが、異なる対象集団（成人、臨床サンプル）を研究している。論文は存在するが、異なる統計値（割合ではなくオッズ比）を報告している。
• 確認の例： 検索 → 論文が見つかる → 抄録によると、米国の青少年を対象に 2013～2018 年のデータを調査し、割合ではなく相関を報告している → 具体的な「うつ病リスク 47％」という数値は記載されていない → AI はこの統計を捏造したか、誤って伝えた可能性がある。

特定の統計値の検証：

• ステップ 1： 正確な語句を引用符で囲んで検索します。「47% depression risk」social media teenagers。
• ステップ 2： 情報源が見つかったら、それが査読済み学術誌なのか、名前の明かされていない研究を引用するニュース記事なのかを確認します。
• 注意すべき点： この数値を引用しているのがソーシャルメディアの投稿やニュース記事だけで、原典の研究には見つからない。見つかった研究では、異なる指標が報告されている。

ハルシネーションを見抜くアクティビティ

準備： 教師は、授業のテーマに関する短いAI生成の調査要約を3～4件用意します。それぞれには、実在する引用、少し改変された引用、捏造された引用が混在しています。生徒には要約を紙で配布します。

ラウンド1 — 検証対象を特定する（5分）： 生徒は各要約を読み、名前が挙がっている引用、具体的な統計値、定説に関する主張すべてに下線を引きます。ペアで、下線を引いた各項目を種類別に分類します。

ラウンド2 — 検証する（15分）： 各ペアは、Google Scholarと学校の図書館データベースを使って、主張を2～3件検証します。各主張について、次の点を記録します。出典は実在するか？（はい／いいえ）AIの主張どおりの内容か？（はい／いいえ／改変あり）。具体的な根拠も記録します。

ラウンド3 — 報告して話し合う（10分）： 各ペアが調査結果を報告します。教師は、どの引用が実在し、改変され、捏造されたものかを明らかにします。クラスで話し合います。捏造された引用に説得力があったのはなぜでしょうか？見破る手がかりは何だったでしょうか？

話し合いの質問：

• 「確認せずにこの引用をエッセイに載せていたら、どうなっていたでしょうか？」
• 「AIは実在の研究者（Twenge）を含めていました。架空の名前を作り出していた場合と比べて、この引用の信頼性は高くなるでしょうか、それとも低くなるでしょうか？なぜですか？」
• 「この3つの主張を検証するのに、どれくらい時間がかかりましたか？その時間をかける価値はあるでしょうか？」

教師による実演用スクリプト

「このAIの引用をどう扱うか、見ていてください。こう書かれています。『Twengeらが2021年にJAMA Psychiatryで発表した研究によると、ソーシャルメディアを1日3時間以上利用すると、うつ病のリスクが47％高まる。』説得力がありそうですよね？実在の研究者、実在する学術誌、具体的な割合が出ています。では、実際のファクトチェックの手順をお見せします。

Google Scholarを開きます。『Twenge 2021 JAMA Psychiatry』で検索します。いくつか結果が表示されました。Twengeが関連分野で論文を発表していることは分かります。しかし、必要なのはこの特定の論文です。2021年、JAMA Psychiatry。検索結果を確認します……2022年のJAMA Pediatrics掲載論文と、2018年のEmotion掲載論文はありますが、2021年のJAMA Psychiatryという条件に正確に一致するものはありません。これは注意すべき兆候です。

検索条件を広げてみましょう。『Twenge JAMA Psychiatry』で検索します。今度は、その学術誌に掲載されたTwengeの論文があるかどうかを探します。1件見つかりました。2020年の論文です。開いてみます。スクリーンタイムとウェルビーイングについて、異なる方法を用いて調べた研究です。そして重要なのは、報告されているのが相関係数 r=0.05 であり、『うつ病のリスクが47％高まる』ではないということです。統計の表現がまったく異なります。

私の結論は、この引用が実在しないか、内容が大幅に歪められているかのどちらかです。この主張が誤りだと証明できたわけではありません。まだ見つけられていない別のTwengeによる2021年の論文があるかもしれません。しかし、この引用が実在し、必要な内容が書かれていると確認できるまでは、エッセイに使うことはできません。AIが示したのは、引用のように見えても、実際の引用として機能しないものだったのです。」

---

既知の制約

1. 検証には時間とデータベースへのアクセスが必要です。 完全な検証プロトコル（研究を見つけ、要旨を確認し、主張を検証する）には、引用1件あたり3-5分かかります。エッセイの執筆では、学生が重要な主張を1つか2つ検証することはできても、AIが述べるすべての内容を検証することはできません。このスキルが教えるのは検証の習慣であり、徹底的なファクトチェックを期待することではありません。

2. 中には、本当に見抜くのが難しいハルシネーションもあります。 実在の著者が実在の学術誌に発表した実在の論文で、要約も正確でありながら、少し古かったり対象集団が異なっていたりする場合、論文の存在を確認するだけでなく、方法のセクションを読む必要があります。学術文献を読むスキルが限られている学生は、こうした検証を独力で行う段階に達しないことがあります。

3. LLMのハルシネーション率は、モデルやトピックによって異なります。 Ji et al. (2023) は、複数のモデルにおけるハルシネーションを記録しており、その発生率はタスクの種類や専門分野によって大きく異なります。ハルシネーションは、よく扱われている分野（近年注目を集めた科学、主流の政治史）では少なく、ニッチなトピック、最先端の研究、専門性の高い下位分野では多くなります。教師はそれに応じて期待値を調整する必要があります。

4. AIに特化した外側から読む方法の応用については、直接的な実証的検証が限られています。 外側から読む方法／SIFTのエビデンスベース（Wineburg & McGrew, 2017, 2019; Caulfield, 2019）は、一般的な情報源の評価において強固です。このプロトコルにおけるAIに特化した応用は、そのエビデンスベースを原則に基づいて拡張したものであり、独立して検証された介入ではありません。「情報源の再構成」という手法は論理的に妥当ですが、教育研究で正式に検証されたことはありません。