ai-hallucination-fact-check-protocol

AI 幻觉事实核查协议

此技能的作用

生成一套专为 AI 生成文本调整的事实核查协议——在扩展 SIFT 框架（Caulfield，2019）的基础上，加入针对大模型幻觉独特挑战的 AI 专属步骤。标准的横向阅读假定来源有一位机构作者，可以调查其经费来源和可信度。但这一假设不适用于 AI 生成的文本：没有作者可供调查，没有机构经费可供核查，也没有“关于我们”页面可供审查。剩下的只有“追溯主张”这一步——而这一步需要针对 AI 进行调整。AI 幻觉有多种形式：捏造引文（提及一项并不存在的研究，或一项确实存在但从未发表的研究）、编造统计数据（数字看似精确合理，却找不到可验证的出处）、错误归属的真实引文（将真实论文归于错误的作者或期刊），以及虚假的共识主张（声称“多数科学家都认同”，但实际上并不存在这样的共识）。每种情况都需要不同的核查方法。输出内容包括针对相关学科领域的幻觉类型分类、适用于 AI 的 SIFT 协议、针对不同主张类型的具体核查方法、“幻觉搜查”课堂活动，以及一份教师示范讲稿，用来展示如何区分真实引文和伪造引文。

证据基础

Wineburg 和 McGrew（2017、2019）通过实证研究发现，专业事实核查人员在评估来源方面胜过学生和教授，因为他们采用横向阅读——立即打开新标签页，查看外部来源对某一来源的评价——而不是纵向阅读（分析来源本身的可信度线索）。这项研究构成了 SIFT 框架的基础。不过，横向阅读最初是为具有可调查机构身份的来源而设计的。如果“来源”是大模型，那么 SIFT 中的“调查”步骤就需要调整：不存在机构身份、资金链或编辑委员会。横向阅读中仍然适用的是“追溯主张”这一步——核实所引证据是否存在，以及是否支持 AI 提出的主张。Caulfield（2019）对 SIFT 的操作化定义为此处扩展的协议提供了结构框架。Breakstone 等人（2021）发现，学生缺乏评估在线来源的能力，依赖表面的可信度标志——而 AI 输出流畅且听起来权威，这会大幅加剧这一弱点。Ji 等人（2023）对自然语言生成中的幻觉进行了系统综述，记录了大模型中幻觉的普遍程度和类型：内在幻觉（与来源材料矛盾）、外在幻觉（添加无法验证或捏造的信息）以及事实不一致。这一分类法直接影响了本协议中的幻觉类别。

输入架构

教师必须提供：

• AI 输出背景： 需要进行事实核查的 AI 内容类型。例如：“ChatGPT 对近期心理学研究的摘要，包含点名列举的研究”／“AI 对第一次世界大战起因的解释，列出具体历史学家及其论点”／“聊天机器人关于营养的回答，包含青少年饮食模式的统计数据”
• 学生水平： 年级和数字素养。例如：“11 年级，熟悉 Google 搜索，但尚未正式学习过来源评估”／“9 年级，具备基本的互联网素养”

可选（如有，则由上下文引擎注入）：

• 学科领域： 学科背景——不同学科的幻觉模式各不相同
• 幻觉风险： 此情境中最可能出现的幻觉类型
• 核查资源： 学生可以使用的工具
• AI 工具： 生成该输出的 AI 系统

提示词

You are an expert in digital literacy and AI verification pedagogy, with deep knowledge of Wineburg & McGrew's (2017, 2019) lateral reading research, Caulfield's (2019) SIFT framework, Breakstone et al.'s (2021) work on students' online reasoning, and Ji et al.'s (2023) taxonomy of hallucination types in natural language generation. You understand the critical limitation of standard lateral reading when applied to AI-generated content: SIFT's "Investigate the source" step assumes an institutional author whose funding and credibility can be checked externally. LLMs have no institutional author. The adaptation required is to replace "Investigate the source" with "Reconstruct the source" — verifying that cited sources exist and say what the AI claims, and that un-cited statistics have traceable origins.

CRITICAL PRINCIPLES FOR AI FACT-CHECKING:
- **AI hallucinations are qualitatively different from human misinformation.** A biased human source has a motive you can investigate. AI fabricates because of statistical patterns in training data — it produces plausible-sounding text. There is no motive to find; there is a verification deficit to expose.
- **The most dangerous hallucinations are the ones that look most real.** A citation to a non-existent study is dangerous precisely because it includes a real-sounding author name, a real-sounding journal title, and a plausible-sounding year. Students who have learned "check the source" may feel they have verified the citation when they have not.
- **Verification requires SOURCE RECONSTRUCTION, not source investigation.** The fact-checker's move with AI is: (1) Does this source exist? (2) Does it say what the AI claims? This is different from asking "Is this source credible?" — it is asking "Does this source exist at all?"
- **Not all hallucinations are dramatic.** The most common AI hallucinations are subtle: a real study presented with the wrong year, a real statistic from a different context, a real author attributed with a paper they didn't write. Students need protocols for subtle errors, not just obvious fabrications.
- **Absence of citation is not hallucination.** AI often omits citations entirely. This is an accuracy problem (Ennis standard) but not hallucination. The specific concern is when AI PROVIDES citations or statistics — that is when verification moves are needed.

Your task is to generate an AI hallucination fact-check protocol for:

**AI output context:** {{ai_output_context}}
**Student level:** {{student_level}}

The following optional context may or may not be provided. Use whatever is available; ignore fields marked "not provided."

**Subject area:** {{subject_area}} — if not provided, infer from the context and adapt hallucination types accordingly.
**Hallucination risk:** {{hallucination_risk}} — if not provided, identify the 2-3 most likely hallucination types for this subject and output type.
**Verification resources:** {{verification_resources}} — if not provided, design for Google + Google Scholar + Wikipedia as the baseline verification toolkit.
**AI tool:** {{ai_tool}} — if not provided, assume a general-purpose LLM chatbot.

Return your output in this exact format:

## AI Hallucination Fact-Check Protocol: [Context]

**For:** [Student level]
**Output type:** [Type of AI content]
**Highest-risk hallucination types:** [The 2-3 most likely for this context]

### Hallucination Taxonomy

[For each relevant hallucination type:]

**[Type name]**
- **What it looks like:** [Specific example appropriate to this context]
- **Why it's dangerous:** [Why students are likely to miss it]
- **How to verify:** [The specific verification move]

### AI-Adapted SIFT Protocol

**S — Stop**
[Pause-and-check instruction adapted for AI context]

**I — Identify the claim type**
[For AI, "Investigate the source" becomes "Identify what kind of claim this is." Guide students to classify claims before attempting verification — statistics need one move, citations need another, expert quotes need another.]

**F — Find the original**
[Source reconstruction: find whether cited sources exist, then find whether they say what the AI claims]

**T — Trace unattributed claims**
[What to do with statistics and claims that have no citation — lateral reading for the underlying data]

### Verification Moves

[For each claim type — statistics, citations, named studies, expert quotes, event claims — provide:]

**Verifying [claim type]:**
- **Step 1:** [What to search/check first]
- **Step 2:** [How to confirm existence vs. content]
- **Red flags:** [Signs that the claim may be hallucinated]
- **Example:** [A specific walkthrough]

### Hallucination Hunt Activity

**Setup:** [How to prepare the activity — what AI output to use, what students receive]

**Round 1 — Identify verification targets (X minutes):** [Instructions]

**Round 2 — Verify (X minutes):** [Instructions with specific verification steps]

**Round 3 — Report and discuss (X minutes):** [Class debrief protocol]

**Discussion questions:** [Questions that draw out the pedagogical insight — what did finding/not finding a hallucination teach about AI reliability?]

### Teacher Modelling Script

[Think-aloud script — 200-300 words — demonstrating the difference between finding a real citation and finding a fabricated one, walking through the verification moves explicitly]

**Self-check before returning output:** Verify that (a) the hallucination taxonomy is specific to this subject and output type, (b) the SIFT adaptation explicitly replaces "Investigate the source" with something workable for AI, (c) verification moves are specific enough to follow, (d) the activity creates genuine discovery moments rather than just confirming what students already suspect, and (e) the modelling script shows both a successful verification AND a hallucination discovery.

示例输出

场景： AI 输出上下文：“11 年级心理学学生使用 ChatGPT 获取了一份关于社交媒体与青少年心理健康研究的摘要。AI 生成了一段 200 字的回答，其中包括‘根据 Twenge 及其同事于 2021 年发表在 JAMA Psychiatry 上的一项研究，青少年每天使用社交媒体超过 3 小时，患抑郁症的风险会增加 47%。’ / 学生水平：“11 年级，具备基本的互联网素养，未接受过正式的来源评估培训” / 学科领域：“心理学” / 核实资源：“Google、Google Scholar、学校图书馆数据库”

---

AI 幻觉事实核查流程：心理学研究引用

面向对象： 11 年级，具备基本的互联网素养 输出类型： 带有具名引用的 AI 生成研究摘要 风险最高的幻觉类型： 引用捏造（作者真实，研究错误）、统计数据编造（数字看似合理，但没有真实来源）、语境误置（研究真实，但人群或语境错误）

幻觉分类

引用捏造：作者真实，研究错误

• 表现形式： “Twenge 及其同事（2021），发表于 JAMA Psychiatry”——Jean Twenge 是一位真实的研究人员，确实研究社交媒体与心理健康。JAMA Psychiatry 是一本真实的期刊。但这项具体研究是否确实于 2021 年发表？AI 利用了真实姓名和真实期刊，拼凑出一条听起来合理、但可能从未存在过的引用。
• 危险之处： 学生搜索“Twenge 社交媒体 心理健康”时，会找到 Twenge 的真实论文，可能会以为这条引用已得到核实，但他们核实的只是作者确实存在，而不是这项具体研究。
• 核实方法： 在 Google Scholar 中搜索“Twenge JAMA Psychiatry 2021”，检查是否有符合该描述的论文。然后阅读摘要，核实其内容是否与 AI 的说法一致。

统计数据编造

• 表现形式： “患抑郁症的风险增加 47%”——一个具体且听起来精确的数字。真实的心理学研究报告的是效应量、相关性和置信区间，而不是“47%”这类整齐的百分比。
• 危险之处： 具体数字会让人觉得精确。像 50% 这样的整数百分比可能会引起怀疑；47% 则听起来像是来自实际分析。
• 核实方法： 找到原始研究。它是否报告了“47%”这个数字？如果论文报告的是优势比或相关系数，AI 可能错误地转换了这些数据，也可能完全是编造的。

语境误置

• 表现形式： 将一项真实研究的发现描述为普遍适用于青少年，但原始研究对象其实是特定人群（例如，仅包括 10 至 14 岁的美国女孩，或已有心理健康问题的临床样本）。
• 危险之处： 引用经得起核查——研究确实存在——但所述主张的范围比证据所支持的更广。
• 核实方法： 找到论文后，阅读方法部分：样本对象是谁？AI 的说法是否与研究的实际范围一致？

AI 调整后的 SIFT 协议

S — 停止 在复制或引用 AI 回复中的任何内容之前，先停下来。AI 生成的研究摘要常常包含听起来真实、但未经核实的引文。在论文或项目中引用一条未经核实的 AI 引文，就会带来风险。继续之前，先停下来核查。

I — 识别主张类型 对于 AI 文本来说，“调查来源”行不通——AI 就是来源，没有什么可调查的。相反，要对文本中的每项具体主张进行分类：

• 具名引文：“根据 Smith（2022）……” → 需要检查其是否存在，并核对内容
• 统计数据主张：“X% 的……” → 需要追溯来源
• 专家归属：“[机构] 的研究人员发现……” → 需要核查机构和研究
• 共识主张：“大多数心理学家都认同……” → 需要查证是否有佐证

F — 找到原始来源 对于每条具名引文：（1）在 Google Scholar 中搜索作者、期刊和年份。（2）如果找到论文，打开并核查：论文是否确实表达了 AI 所声称的内容？（3）如果找不到论文，这条引文可能是伪造的。

对于没有引文的统计数据：用引号搜索具体主张（“47% depression risk social media”）。如果没有结果能追溯到经过同行评审的来源，那么该统计数据就无法核实，可能是 AI 幻觉。

T — 追溯共识主张 如果 AI 在没有指出具体来源的情况下声称“研究表明”或“研究发现”，就搜索来自多个独立且具名来源的佐证。如果找到一篇引用充分的系统综述，结论恰恰相反，那么 AI 的共识主张可能是过度概括。

核查方法

核查具名引文（例如“Twenge et al., 2021, JAMA Psychiatry”）：

• **步骤 1：**打开 Google Scholar。搜索：Twenge 2021 JAMA Psychiatry social media。查看前五条结果。
• **步骤 2：**如果找到匹配的论文，点击查看摘要。它是否报告了 AI 提出的具体主张（抑郁风险增加 47%）？
• **警示信号：**在 Scholar 中找不到论文。论文存在，但研究对象不同（成年人、临床样本）。论文存在，但报告的统计数据不同（比值比，而非百分比）。
• **示例演示：**搜索 → 找到论文 → 摘要显示研究对象是美国青少年，数据时间为 2013—2018 年，报告的是相关性而非百分比 → 找不到“抑郁风险 47%”这一具体数字 → AI 要么编造了这一统计数据，要么错误陈述了它。

核查具体统计数据：

• **步骤 1：**用引号搜索完整短语：“47% depression risk” social media teenagers。
• **步骤 2：**如果找到来源，核查：它是经过同行评审的期刊，还是引用了未具名研究的新闻报道？
• **警示信号：**只有社交媒体帖子或新闻报道引用了这个数字，找不到原始研究。找到的研究报告的是另一种指标。

幻觉猎查活动

**准备工作：**教师准备 3-4 篇关于课堂主题的简短 AI 生成研究摘要，每篇都混合了真实引用、略有修改的引用和捏造的引用。将摘要打印出来发给学生。

**第 1 轮——找出需要核实的内容（5 分钟）：**学生阅读每篇摘要，并给所有具名引用、具体统计数据和共识性论断画线。两人一组，按类型对标记的内容进行分类。

**第 2 轮——核实（15 分钟）：**每组使用 Google Scholar 和学校图书馆数据库核实 2-3 项论断。针对每项论断，他们记录：来源是否存在？（是/否）来源是否表达了 AI 所声称的内容？（是/否/有所修改）。记录具体证据。

**第 3 轮——汇报与讨论（10 分钟）：**各组汇报调查结果。教师揭示哪些引用是真实的、经过修改的和捏造的。全班讨论：哪些因素让捏造的内容显得可信？破绽在哪里？

讨论问题：

• “如果你没有核实就把这条引用写进论文，会发生什么？”
• “AI 使用了一位真实作者（Twenge）的名字。这会让引用比编造一个假名字更可信，还是更不可信？为什么？”
• “核实这三项论断花了多长时间？值得花这段时间吗？”

教师示范讲稿

“看看我如何处理这条 AI 引用。它写道：‘根据 Twenge 及其同事发表于 2021 年《JAMA Psychiatry》的一项研究，每天使用社交媒体超过 3 小时会使抑郁风险增加 47%。’听起来很可信，对吧？有真实研究人员、真实期刊，还有具体百分比。让我演示一下实际的事实核查过程。

我打开 Google Scholar，搜索：Twenge 2021 JAMA Psychiatry。出现了几个结果——我能看到 Twenge 在相关领域发表过论文。但我需要的是这篇特定论文：2021 年，发表于《JAMA Psychiatry》。我浏览结果……看到一篇 2022 年发表于《JAMA Pediatrics》的论文，一篇 2018 年发表于《Emotion》的论文，但没有完全符合‘2021 年，《JAMA Psychiatry》’的结果。这是一个危险信号。

我再试试更宽泛的搜索：Twenge JAMA Psychiatry。现在我要找的是 Twenge 在这本期刊上发表的任何论文。我看到一条结果，发表于 2020 年——我打开它。论文研究的是屏幕使用时间和幸福感，采用了不同的方法。更关键的是：它报告的相关系数是 r=0.05，而不是‘抑郁风险增加 47%’。两者所用的统计表述完全不同。

我的结论是：这条引用要么不存在，要么被严重歪曲了。我并没有证明这个论断是假的——也许还有一篇 Twenge 在 2021 年发表的论文，只是我还没找到。但在确认这条引用确实存在、并且表达了我需要的内容之前，我不能在论文中使用它。AI 给了我一个看起来像引用、实际上却无法发挥引用作用的内容。”

已知局限

1. 验证需要时间和数据库访问权限。 完整的验证流程——找到一项研究、查看摘要、核实说法——每条引用需要 3-5 分钟。在撰写论文的情境中，学生可能会核实一两项关键说法，但无法核实 AI 的每一项陈述。这项技能旨在培养核实习惯，而非要求进行穷尽式事实核查。

2. 有些幻觉确实很难发现。 真实作者在真实期刊上发表了一篇真实论文，内容概述准确，但有些过时，或研究对象来自不同群体——要发现这一点，需要阅读方法部分，而不只是确认论文确实存在。学术阅读能力有限的学生可能无法独立完成这种程度的核实。

3. 大模型的幻觉率因模型和主题而异。 Ji et al. (2023) 记录了多个模型出现幻觉的情况；幻觉率因任务类型和学科领域而有显著差异。在代表性充分的领域（近期广受关注的科学研究、主流政治史）中，幻觉较少；在小众主题、前沿研究和专业细分领域中，幻觉较多。教师应据此调整预期。

4. 将侧向阅读应用于 AI 的做法，直接的实证验证有限。 侧向阅读 / SIFT 的证据基础（Wineburg & McGrew, 2017, 2019；Caulfield, 2019）对于一般性来源评估而言很有力。本流程中针对 AI 的改编，是对该证据基础合乎原则的延伸，并非经过独立验证的干预措施。“重构来源”这一做法在逻辑上合理，但尚未在教育研究中经过正式检验。