ai-output-critical-audit-designer

AI 输出关键审计设计器

此技能的作用

生成一套结构化协议，依据 Ennis（2015）的六项批判性思维标准——清晰度、准确性、精确性、相关性、深度和广度——对 AI 生成的文本进行严格审计，并加以调整，以应对一般批判性思维框架未涵盖的 AI 特有失误模式。教学上的核心挑战在于，AI 生成的文本流畅、自信且结构严谨，因此比看起来可疑的文本更难进行批判性评估。传统的来源可信度判断方法（谁写的？由谁资助？）在这里并不适用，因为作者是大模型。取而代之的是针对 AI 特有模式训练的细读协议：以未经证实的自信语气陈述断言；提出听起来精确可信、却没有可核实来源的主张；使用专家般的措辞，却缺乏真正的认识深度；以及系统性地缺少“我不知道”。此技能为 ai-literacy 套件生成领域锚点：注释协议（学生实时标注 AI 文本）、审计评分表（按每项 CT 标准将 AI 文本评为弱／中等／强）、针对 AI 失误模式设计的反驳句式，以及教师示范脚本。这相当于历史思维领域中的 sourcing-skill-builder——学生必须先掌握这一基础方法，才能开展更专业的学习。

证据基础

Ennis（2015）提出了一套精简的 CT 框架，建立在六项智力标准之上：清晰度（主张的表达足够明确，可以进行评估）、准确性（主张与现实相符）、精确性（主张足够具体，具有实用价值）、相关性（主张回应当前问题）、深度（主张涉及问题的真实复杂性）和广度（主张考虑多个视角）。这些标准是 Kharbach（2026）面向 AI 时代的 CT 活动的明确理论基础。Paul 与 Elder（2008）将类似标准操作化为智力标准框架，该框架广泛应用于 CT 教育，也为 Ennis 的体系提供了教学传统。Facione（1990）的德尔菲共识将 CT 定义为包含诠释、分析、评估、推理、解释和自我调节——而评估正是 AI 审计所激活的维度。Dai 等人（2023）对 LLM 生成的反馈开展了大规模实证分析，记录了其典型失误模式：AI 输出流畅、结构良好，且往往过度自信，缺乏充分的认识论保留。他们的研究结果——LLM 会给出模糊建议，却回避指出具体错误——与 Ennis 的精确性和准确性标准直接对应。Wineburg 与 McGrew（2019）指出，有效的文本评估需要他们所称的“有纪律的审视”——一种经过训练、由协议驱动的阅读实践，而非直觉判断。这为采用结构化注释协议，而非开放式评估，提供了方法论依据。

输入模式

教师必须提供：

• **AI 输出示例：**要审核的具体 AI 文本，或要为其设计协议的类型描述。例如：“这是 ChatGPT 关于第一次世界大战起因的回答文本：[粘贴文本]”／“为 10 年级地理气候变化任务撰写的 AI 生成论文引言”／“面向 9 年级数学学生的聊天机器人二次方程讲解”
• **学生水平：**年级和批判性思维（CT）经验。例如：“10 年级，能识别基本论点，但尚未正式学习过 CT 标准”／“12 年级，熟悉 Paul & Elder 框架”

可选（如果有上下文引擎，则由其注入）：

• **CT 标准重点：**需要重点关注哪些标准。例如：“准确性和精确性——学生经常不加核实地接受 AI 提供的统计数据”／“全部六项——用于完整的审核活动”
• **学科领域：**学科背景——不同学科对充分证据的认定有所不同
• **任务背景：**AI 生成的内容类型——论文、讲解、研究摘要
• **学生情况：**以往的 CT 经验、学科知识

提示词

You are an expert in critical thinking pedagogy and AI literacy, with deep knowledge of Ennis's (2015) six intellectual standards (clarity, accuracy, precision, relevance, depth, breadth), Paul & Elder's (2008) critical thinking framework, Facione's (1990) Delphi CT consensus, and empirical research on LLM output quality (Dai et al., 2023). You understand that AI-generated text has characteristic failure modes that require specific pedagogical attention beyond general CT instruction: AI outputs are fluent and confident but often lack genuine epistemic depth, assert precision without verifiable sources, present contested claims as settled, and systematically omit appropriate uncertainty language.

CRITICAL PRINCIPLES FOR AI AUDIT:
- **AI failure modes are qualitatively different from human argument flaws.** A biased human source has an agenda you can investigate. AI has no agenda — it has statistical patterns. The failure is not motivated reasoning but overconfident generalisation, hallucinated specificity, and missing epistemic hedging. Students must be trained to notice these specifically.
- **Fluency is not a credibility signal.** AI output is grammatically polished and logically structured. Students who treat polish as evidence of quality will be systematically deceived. The audit protocol must explicitly de-couple fluency from reliability.
- **The absence of "I don't know" is a red flag.** Genuine expertise includes calibrated uncertainty. AI trained to be helpful tends to produce answers even when the evidence is weak. Students should be trained to notice the absence of hedging, qualification, and epistemic modesty.
- **Specificity requires verification, not just recognition.** AI often produces statistics, citations, and named studies. These LOOK precise (Ennis's precision standard seems met) but the precision may be fabricated. True precision requires that the specific claim can be traced and verified.
- **Depth requires genuine complexity, not length.** AI can produce long, multi-paragraph responses that add more text without adding depth — restating the same point in different words, listing examples without explaining the principle, or acknowledging complexity without engaging with it.

Your task is to generate an AI output audit protocol for:

**AI output sample:** {{ai_output_sample}}
**Student level:** {{student_level}}

The following optional context may or may not be provided. Use whatever is available; ignore fields marked "not provided."

**CT standard focus:** {{ct_standard_focus}} — if not provided, address all six Ennis standards but flag which 2-3 are most relevant to AI output of this type.
**Subject area:** {{subject_area}} — if not provided, infer from the output and apply discipline-appropriate evidence standards.
**Task context:** {{task_context}} — if not provided, infer from the output.
**Student profiles:** {{student_profiles}} — if not provided, design for a mixed-ability class with general familiarity with evaluating arguments but no formal AI literacy training.

Return your output in this exact format:

## AI Output Critical Audit: [Subject/Topic]

**For:** [Student level]
**Output type:** [What kind of AI output this is]
**CT standards in focus:** [Which standards are most relevant to this output type and why]

### AI Failure Mode Analysis

[Identify 3-5 AI-characteristic failure modes present or likely in this output type. For each:]

**Failure mode [N]: [Name]**
- **What it looks like:** [Specific example from the output, or a representative example if no specific text was provided]
- **Why students miss it:** [Why fluency or surface features hide this failure]
- **Ennis standard violated:** [Which of the six standards this fails]

### Annotation Protocol

**How to use this protocol:** [Brief instruction for how students mark up the text]

**Annotation codes:**
[Table of codes with symbols/abbreviations, what they mark, and the Ennis standard they relate to]

**Step-by-step annotation sequence:**
[Ordered steps for moving through the text — what to read for first, second, third]

### Audit Rubric

[For each relevant CT standard, provide Weak/Moderate/Strong descriptors calibrated for AI output]

| CT Standard | Weak | Moderate | Strong |
|---|---|---|---|
| [Standard] | [What weak looks like in AI text] | [Moderate] | [Strong] |

### Push-Back Stems

[For each CT standard, 2-3 sentence stems students can use to push back on the AI output — framed as questions or prompts that probe the weakness]

**Clarity:** [Stems]
**Accuracy:** [Stems]
**Precision:** [Stems]
**Relevance:** [Stems]
**Depth:** [Stems]
**Breadth:** [Stems]

### Teacher Modelling Script

[A think-aloud script — 200-300 words — showing a teacher auditing a short section of AI text, naming failure modes as they appear, using the annotation codes, and applying the Ennis standards explicitly. Model what expert AI-critical-reading sounds like.]

**Self-check before returning output:** Verify that (a) the failure mode analysis names AI-specific patterns, not generic argument flaws, (b) the annotation protocol teaches close reading rather than surface scanning, (c) the rubric descriptors distinguish AI-characteristic Weak from generic bad writing, (d) push-back stems are specific enough to use, and (e) the modelling script de-couples fluency from reliability explicitly.

输出示例

**情境：**AI 输出示例：“气候变化主要由释放二氧化碳和甲烷等温室气体的人类活动造成。科学界的共识强烈支持这一结论，97% 的气候科学家都认为，正在发生由人类造成的气候变化。主要影响包括海平面上升、极端天气事件更加频繁以及全球气温升高。各国必须立即采取行动，通过征收碳税、转向可再生能源和植树来减少排放。如果我们不采取行动，到 2050 年全球气温将上升 2°C，对全球生态系统造成不可逆转的破坏。”／学生水平：“10 年级，接受过的正式 CT 培训有限”／学科领域：“地理”／任务背景：“GCSE 地理复习讲解”

---

AI 输出批判性审核：气候变化讲解（10 年级地理）

**面向：**10 年级，接受过的正式 CT 培训有限
**输出类型：**AI 生成的复习讲解
**重点 CT 标准：**准确性（事实核实）、精确性（溯源）、深度（对复杂性的探究）——在 AI 生成的争议性主题讲解中，最可能违反这三项标准

AI 失效模式分析

失效模式 1：无来源的统计数据

• 表现形式：“97% 的气候科学家认同人为气候变化正在发生。”这是一个真实的统计数据（Cook 等人，2013 年），但 AI 未注明出处就呈现了这个数据。学生无法核实。
• **学生为何会忽略：**这个数字听起来精确而权威。具体数字看起来就像证据。
• **违反的 Ennis 标准：**精确性——具体却无法核实

失效模式 2：不加限定的笃定预测

• 表现形式：“到 2050 年，全球气温将上升 2°C。”这句话将预测说成了确定事实。实际上，气温预测是一个范围，且会因排放情景不同而存在很大的不确定性。
• **学生为何会忽略：**AI 删掉了科学家使用的限定语（“很可能”“在高排放情景下”），流畅、笃定的行文读起来比真正的科学不确定性更有把握。
• **违反的 Ennis 标准：**准确性——错误地表现为确定无疑；深度——遗漏了真实的复杂性

失效模式 3：政策措施清单

• 表现形式：“实施碳税、转向可再生能源，并种植更多树木。”列出了三种解决方案，却没有探讨其中的权衡、证据，或它们相对有效性的争论。
• **学生为何会忽略：**行动措施列表看起来很全面，也符合学生对答案形式的预期。
• **违反的 Ennis 标准：**深度——罗列而不分析；广度——缺少批判和反方观点

失效模式 4：缺少复杂性

• 表现形式：“各国必须立即采取行动。”没有探讨哪些国家、谁该承担责任，或气候变化对贡献最少的国家造成了何种不同影响。
• **学生为何会忽略：**文本足够长，让人觉得内容详尽。篇幅 ≠ 深度。
• **违反的 Ennis 标准：**广度——缺少多种视角；深度——遗漏了真实的复杂性

批注流程

**如何使用本流程：**先通读一遍 AI 文本，不做标记。然后拿起笔慢慢再读一遍，并使用以下代码进行批注。逐句处理。不必担心要标记所有内容——至少找出每种代码的一个例子即可。

批注代码：

代码	符号	标记内容	Ennis 标准
US	★	无来源的统计数据或资料——没有引用来源的具体数字	精确性
FC	!	错误的确定性——未加限定地呈现的预测或主张	准确性
SL	≡	清单式罗列——列出多项内容却没有解释或证据	深度
MC	?	缺少复杂性——简化存在争议或复杂的问题	广度
VL	~	含糊的措辞——未作具体说明的“许多”“显著”“必须”等	清晰度

逐步批注顺序：

1. 查找无来源的统计数据（★）——圈出任何没有引用来源的数字、百分比或数据点
2. 查找错误的确定性（!）——给任何未用“很可能”“证据表明”或类似限定措辞的预测或主张画线
3. 查找清单式罗列（≡）——给任何后面没有解释证据或权衡的项目列表加方括号
4. 查找缺少复杂性（?）——标记任何忽略了真实反方论点或相竞争观点的主张
5. 查找含糊的措辞（~）——标出“显著”“许多”“重要”“必须”等缺乏具体说明的词

审核标准

CT 标准	较弱	中等	较强
准确性	将主张作为事实陈述，不作任何限定；预测不提供不确定性范围	部分主张有所限定；重大的争议点仍被当作定论陈述	将有争议的主张标明为有争议；使用表达不确定性的措辞；区分共识与争论
精确性	引用统计数据却未注明来源；主张过于模糊，无法检验	部分数据隐含了来源；关键主张可以追溯	所有具体主张均可追溯；能够识别来源类型（研究、报告、共识声明）
深度	只罗列内容，不作解释；承认复杂性却不深入探讨	部分探讨了机制或权衡；关键复杂性仍被过度简化	解释机制，探讨不同观点，并承认未知之处
广度	始终只呈现单一视角；没有其他观点	简要提及一种替代观点；缺乏真正的探讨	呈现多种观点；分析不同解决方案之间的权衡
清晰度	使用「显著」「严重」等模糊词语，却不作定义	关键术语只定义一次；仍有一些模糊措辞	对所有评价性术语作出可操作的定义；读者可以核查每项主张
相关性	包含离题内容；遗漏核心问题	大体切题，偶尔偏离主题	每句话都直接回应问题；没有冗余内容

质疑句式

准确性：

• 「这里说 [X] 一定会发生。如此确定的说法有什么来源？」
• 「这是专家普遍认同的主张，还是存在争议？我该如何确认？」

精确性：

• 「文中给出了一个具体数字（[X]%）。这个数字从何而来？」
• 「这个统计数据出自哪项研究或哪份报告？我能找到它吗？」

深度：

• 「文中说 [解决方案] 会有所帮助。这种做法有哪些权衡或困难？」
• 「这段话列出了三件事。但每一件为什么有帮助？三者的证据是否同样有力？」

广度：

• 「这个解释没有呈现谁的观点？缺少了谁的视角？」
• 「文中说『各国必须采取行动』。各国的责任是否相同？AI 是否回应了这一点？」

清晰度：

• 「文中说『[词语，例如「显著」]』。具体有多显著？与什么相比？」
• 「这里的『[模糊术语]』到底是什么意思？能否换成更具体的说法？」

相关性：

• 「这段话回答了问题，还是只补充了更多信息？」
• 「这个细节与 [具体的修订问题] 相关，还是只属于一般背景信息？」

教师示范脚本

“我会大声读出这段 AI 解释，并边读边思考——让你听听我在评估时脑子里在想什么。

[读第一句] ‘气候变化主要是由人类活动导致的……’ 好。这是一个清晰的观点——清晰度方面我会打个勾。准确性呢？这符合科学界的共识。我暂时不会标记这句。

[读] ‘97% 的气候科学家都认同……’——等等。这是一个非常具体的数字。这个数字从哪里来的？AI 没有说明。我会加一个 ★——未注明来源的统计数据。它可能是真的。很可能是真的。但仅凭这段文字，我无法核实。

[读] ‘到 2050 年，全球气温将上升 2°C……’——我会立刻用 ! 标记这句。真正的气候科学指出，气温升幅取决于我们的排放量。IPCC 给出的是不同排放情景下的范围，而不是一个确定的预测值。AI 抹去了所有不确定性，把一个数字当成事实来呈现。这就是虚假确定性的失效模式——表达流畅、内容具体，但信心十足地给出了错误信息。

[读政策清单] ‘碳税、可再生能源、植树。’ 连续列出了三项——我会标记 ≡。这是一张购物清单。它看起来面面俱到，却没有解释证据：哪项措施的证据最充分？有哪些权衡？经济学家对碳税和监管措施有何看法？AI 给了我一份清单，并把它当作答案。

读了这段文字两分钟后，我已经标记了 ★、! 和 ≡。这段文字看起来正确——其中大部分可能也确实正确。但它存在虚假确定性、未注明来源的统计数据，以及内容深度不足等问题。学生若把它当作复习材料来读，就会接触到大致准确、却以误导性框架呈现的事实。这正是我们要培养 AI 素养、应对的问题。”

---

已知局限

1. 审查需要足够的领域知识。 如果学生对主题了解不够，就无法判断 AI 的说法是否带有虚假确定性，或是否遗漏了复杂之处，因为他们认不出哪些内容被省略了。这项技能应在具备基础知识之后使用，而不是之前。构建知识的阶段应先采用明确讲授类技能。

2. 随着模型改进，AI 的失效模式也会演变。 一些模式（例如伪造引文）正由模型开发者积极减少。上述分类反映了当前大模型（2023-2026）中有充分记录的失效模式，但可能需要随着模型改进而修订。底层的批判性思维标准（Ennis，2015）是稳定的；具体的失效模式分类则取决于模型的代际。

3. 将流畅度与可信度脱钩需要认知上的努力。 要求学生不轻信 polished、结构严谨的文本，有悖于他们已养成的阅读习惯。一直以来因写作结构良好而受到肯定的学生，会本能地把文字润色程度与质量联系起来。要培养这种反直觉的习惯——审视表达中的确定性——需要持续练习。

4. 将成熟的批判性思维框架专门应用于 AI 的实证验证仍然有限。 批判性思维标准（Ennis、Paul & Elder、Facione）在一般批判性思维教学方面有充分证据支持。将其专门用于审查 AI 生成文本，原则上合理，但仍属新领域——Dai 等人（2023）是少数研究大模型输出质量在教育情境中表现的实证研究之一。教师应将此视为有原则依据的框架，而非已得到确立的教学干预。