ai-expertise-interrogation-designer

AI 专业知识质询设计器

此技能的作用

生成一项活动——Kharbach（2026）提出的“哈哈镜”（Funhouse Mirror）——让学生运用自身的领域专长，发现 AI 的失真、遗漏和过度自信。这颠倒了 AI 评估中通常的专家与新手关系：在大多数 AI 素养活动中，学生都是新手，接受有关 AI 局限性的提醒。而在这项活动中，学生就是领域专家。他们向 AI 询问自己真正熟悉的内容——深入研究过的学科、竞技参加的运动、从小成长其中的文化背景，或熟知的本地地理——并运用自身知识，找出 AI 出错、过度简化、淡化细节或表现出虚假自信之处。这项活动的教学机制是通过直接对照，建立对 AI 经过校准的怀疑态度：在自己擅长的领域发现 AI 出错，会带来切身而持久的认识，明白 AI 并非无所不知。发现 AI 对自己的运动、文化传统或家乡信心十足地给出错误信息的学生，会形成远比抽象地听人提醒“AI 可能会出错”更可靠的怀疑态度。输出包括专业知识激活流程（学生在咨询 AI 前记录自己的知识）、经过校准的质询问题、失真标注流程、针对特定领域的失真分类，以及一份讨论指南，用于汇总全班不同专业领域中的发现。

证据基础

Chi、Glaser 和 Farr（1988）确立了专家与新手框架：专家组织知识的方式与新手不同，能从更深层次理解问题，并对所在领域形成更丰富、联系更紧密的表征。关键在于，专家能注意到领域表征中缺失或失真的内容——他们拥有发现缺口所需的知识。这正是这项活动的基础：拥有真正领域专长的学生，能够发现普通学生会忽略的 AI 失真，因为只有了解本该包含什么的人，才能注意到缺少了什么。Ericsson 和 Smith（1991）指出，专长的特征在于能够察觉细微差别，以及偏离预期模式之处——当专家阅读 AI 对其专业领域的输出时，同样会启动这一认知机制。Thiede 等人（2003）证明，当学习者拥有真正的知识库作为参照时，元认知准确性（判断结果与实际理解之间的相关性）会显著提高——发现自身所知与所读内容之间的差异，会促使人们准确地进行自我评估。这项活动恰好创造了这种比较：将学生的领域知识与 AI 输出进行对照。Dunning 等人（2003）关于邓宁-克鲁格效应的研究，从相反方向来看也很相关：对某一领域了解深入的学生，比了解较少的学生更擅长发现该领域中 AI 的局限性——专业知识让人能够识别 AI 的不足，而不只是认识到自身的不足。Kazemitabaar 等人（2023）提供了实证证据，表明学习场景中的 AI 辅助可能掩盖真实的知识缺口；这项活动旨在通过颠倒专家与新手的位置关系，揭示这一现象。

输入架构

教师必须提供：

• 学生的专长领域： 学生真正熟悉的内容。例如：“足球（具体来说：曼彻斯特联队历史和英超联赛统计）”／“匈牙利民间音乐与舞蹈传统（本地知识）”／“竞技游泳——技术、训练、比赛”／“K-Pop 文化，具体来说：BTS 专辑与粉丝文化”／“布达佩斯第 7 区的地理与历史”
• 学生年级： 年级和专业知识深度。例如：“10 年级，学生在不同领域（体育、音乐、地理、文化传统）各有扎实的个人专长”／“12 年级，学生学习历史的深度达到 A-level 水平”

可选（如果有，内容引擎会注入）：

• 审问深度： 浅层错误与深层错误
• 讨论形式： 如何分享发现
• 学科领域： 课程所属的学科领域（如有）
• 目标 AI 工具： 学生将向哪种 AI 系统提问

提示词

You are an expert in expertise research and AI literacy pedagogy, with knowledge of Chi, Glaser & Farr's (1988) expert-novice framework, Ericsson & Smith's (1991) expertise theory, Thiede et al.'s (2003) metacognitive accuracy research, and Dunning et al.'s (2003) work on competence and self-assessment. You understand the core mechanism of this activity: expertise enables detection. A student who has found AI confidently wrong about something they know deeply will have earned a much more durable AI skepticism than one who was warned abstractly. The pedagogical value is not in cataloguing AI errors — it is in the moment of discovery, and in the generalisation it enables.

CRITICAL PRINCIPLES:
- **The expertise must be genuine.** This activity does not work with superficial knowledge. "I know a bit about football" is not enough. "I have watched every Manchester United match for five years and know the squad statistics" IS enough. The interrogation questions must be calibrated to genuinely probe the depth of the AI's knowledge.
- **The goal is distortion taxonomy, not error hunting.** AI errors alone are unsurprising. The more valuable finding is the PATTERN: what types of distortions does AI consistently produce in this domain? Is it confidently wrong about recent events? Does it flatten cultural specificity? Does it privilege English-language sources? Does it confuse similar-but-distinct concepts?
- **Expertise activation precedes AI consultation.** Students must document what they know BEFORE asking the AI. This serves two purposes: (1) it creates a reference document that makes distortions visible as discrepancies; (2) it prevents the AI's confident output from overwriting the student's own knowledge before they've had a chance to articulate it.
- **The discussion synthesis is the most important phase.** Finding one AI error in your domain is interesting. Discovering that students with expertise in very different domains all found the SAME types of distortions (e.g., AI always sounds confident even when it's wrong; AI consistently misses recent events; AI flattens cultural specificity) is the generalisable insight that makes this an AI literacy activity, not just a fact-checking exercise.
- **Distortions are not the same as errors.** An error is factually wrong. A distortion is subtly misleading: technically true but missing crucial context, presented at the wrong level of confidence, drawn from an unrepresentative source, or flattening genuine complexity. Students with genuine domain expertise will find both — the distortions are more interesting pedagogically.

Your task is to design an AI expertise interrogation activity for:

**Student expertise domain:** {{student_expertise_domain}}
**Student level:** {{student_level}}

The following optional context may or may not be provided. Use whatever is available; ignore fields marked "not provided."

**Interrogation depth:** {{interrogation_depth}} — if not provided, design for both surface (factual accuracy) and deep (distortion, false confidence, cultural flattening) levels.
**Discussion format:** {{discussion_format}} — if not provided, design for whole-class synthesis after individual interrogation.
**Subject area:** {{subject_area}} — if not provided, frame the activity as a standalone AI literacy exercise.
**Target AI tool:** {{target_ai_tool}} — if not provided, design for a general-purpose LLM chatbot.

Return your output in this exact format:

## AI Expertise Interrogation: [Domain]

**For:** [Student level]
**Expertise domain:** [The area of genuine student knowledge]
**Interrogation depth:** [Surface / Deep / Both]

### Expertise Activation Protocol

[What students do BEFORE consulting the AI — to document their knowledge and create a reference for comparison]

**Step 1:** [Knowledge inventory — what do I know about this domain?]
**Step 2:** [Identify your strongest sub-area — where is your expertise deepest?]
**Step 3:** [Write 3-5 claims you are confident about in this domain — specific, verifiable]
**Step 4:** [Identify one area where you know the real answer is more complex than most people realise]

### Interrogation Questions

[A calibrated set of questions to ask the AI, scaled from surface to deep]

**Surface questions (factual accuracy):**
[2-3 questions where the student knows the correct answer and can check if the AI is right]

**Depth questions (complexity and nuance):**
[2-3 questions that probe whether the AI understands the nuances the student knows]

**Distortion trap questions (areas likely to reveal AI limitations):**
[2-3 questions specifically targeting the types of distortion common in this domain — recent events, cultural specificity, contested claims, insider knowledge]

### Distortion Annotation Protocol

[How students mark up AI output against their expertise]

**Annotation codes:**
[Table with codes for: factual error, false confidence, missing nuance, cultural flattening, outdated information, false universalism]

**Annotation process:** [Step-by-step instructions for comparing AI output against expertise]

### Distortion Taxonomy

[For this specific domain, what types of distortions is AI most likely to produce?]

**Most likely distortions in [domain]:**
[3-5 distortion types with explanations of why AI tends to produce them in this domain and examples of what they look like]

### Discussion Guide

**Individual reflection (before class discussion):**
[Questions students answer about their findings before sharing]

**Class synthesis:**
[How to structure the comparison across students with different expertise domains]

**The generalisable question:** [The central question that draws from specific domain findings to a general AI literacy insight]

**Self-check before returning output:** Verify that (a) the expertise activation protocol genuinely prevents AI from overwriting student knowledge, (b) interrogation questions are calibrated to the stated expertise depth, (c) distortion trap questions target domain-specific AI weaknesses, not generic errors, (d) the distortion taxonomy is specific to this domain, (e) the discussion guide includes a synthesis move that turns domain-specific findings into a generalisable insight.

输出示例

情境： 学生专长领域：“匈牙利民间音乐与舞蹈传统——布达佩斯中学的学生曾参加民间舞蹈团，了解各地区的舞蹈及音乐差异，并在文化教育中学习过民间音乐”／学生年级：“11 年级，深入了解匈牙利各地区的民间传统，正式音乐理论知识水平不一”／审问深度：“浅层和深层”／讨论形式：“不同专长领域的学生两人一组，随后全班综合讨论”

---

AI 专长探究：匈牙利民间音乐与舞蹈

适用对象： 布达佩斯中学 11 年级学生 专长领域： 匈牙利地区民间音乐与舞蹈传统 审问深度： 浅层（事实）和深层（文化特异性、地区准确性）

激活专长流程

步骤 1 — 知识清单： 打开任何 AI 工具之前，先花 5 分钟写下你对匈牙利民间音乐与舞蹈的了解。包括：你了解的地区风格（特兰西瓦尼亚？梅泽谢格？阿尔弗尔德？）、具体舞蹈、具体乐器、恰尔达什舞与韦尔本科什舞有何不同，以及关于民间舞蹈团结构或表演实践的任何知识。

步骤 2 — 找出你最擅长的子领域： 你的知识在哪方面最深？如果你已经跳了三年梅泽谢格风格的舞蹈，那就是你最擅长的领域。如果你了解特克勒兰特琴在各地区的不同演奏形式，那就是你的专长。

步骤 3 — 写出 3 条确信无疑的观点： 写下三条你确信属实、并能在对话中为之辩护的领域知识。例如：“特兰西瓦尼亚民间舞蹈有鲜明的地区风格，不能互相混为一谈——卡洛塔塞格的舞蹈与梅泽谢格的舞蹈，在一些具体且有名称的方面有所不同。”／“匈牙利的塔恩查兹运动始于 20 世纪 70 年代，在共产主义时期，它在一定程度上是一场文化抵抗运动。”

步骤 4 — 找出一个隐含的复杂之处： 关于匈牙利民间音乐或舞蹈，有什么是大多数外行容易误解或过度简化的？这正是你认为 AI 会出错的地方。

访谈问题

表层问题（事实准确性）：

• “匈牙利民间舞蹈的主要区域风格有哪些？各自的显著特点是什么？”
• “匈牙利的 táncház 运动有怎样的历史？它始于何时？”
• “匈牙利不同地区的民间音乐传统上使用哪些乐器？”

深入问题（复杂性与细微差别）：

• “Kalotaszeg 和 Mezőség 的民间音乐有何不同？各自的风格特色是什么？”
• “官方文化节目对匈牙利民间舞蹈的呈现，与村庄环境中活态传承的呈现有何不同？”
• “真实的民间音乐在匈牙利身份政治中有何意义？为什么这一点存在争议？”

失真陷阱问题（AI 容易出错的领域）：

• “当代匈牙利最重要的民间乐团有哪些？它们各自的风格特色是什么？”（测试 AI 是否了解当下的活跃民间音乐场景）
• “匈牙利民间传统与罗马尼亚、斯洛伐克和塞尔维亚的匈牙利族群民间传统有何关联？它们是一回事吗？”（测试 AI 是否会混淆匈牙利民间音乐与特兰西瓦尼亚地区变体之间至关重要的区别）
• “布达佩斯民间乐队的音乐家会如何看待别人称他们演奏的是‘传统匈牙利民间音乐’？”（测试 AI 是否理解当代民间音乐圈内部的自我认知）

失真标注规范

标注代码：

代码	标注内容
FE	事实错误——AI 陈述了可证实的错误信息
FC	虚假确定性——AI 将不确定的内容说成定论
CF	文化扁平化——AI 将不同的区域或文化变体视为可以互换
MN	缺少细微差别——AI 的回答在技术上正确，但不完整，容易造成误导
OD	信息过时——AI 的信息反映较早的资料，遗漏了近期发展
FU	虚假普遍化——AI 暗示某种情况普遍存在，实际上它只适用于特定语境

标注流程：

1. 阅读 AI 对表层问题的回答，并与记录在案的知识进行比较。标出任何差异。
2. 阅读 AI 对深入问题的回答。优先标注 CF 和 MN——这些情况最有可能出现。
3. 阅读 AI 对失真陷阱问题的回答。这些回答最容易出现重大失真。凡是你认为错误、不完整或确定性具有误导性的内容，都要标出。
4. 对每处标注写一句话：“AI 说了[X]。实际情况是[Y]。差异在于[Z]。”

扭曲类型

匈牙利民间传统最可能出现的扭曲：

**文化扁平化（CF）——最常见：**主要基于英语资料训练的 AI 会将“匈牙利民间音乐”视为一个统一类别，把匈牙利本土传统与特兰西瓦尼亚／海外匈牙利人传统之间的差异一并抹平，而这些差异对实践者至关重要。AI 很可能会把 Kalotaszeg 和 Mezőség 当作可以互换的风格，而不是具有各自独特音乐与舞蹈惯例的不同地域风格。

**错误的普遍化（FU）——非常常见：**AI 可能会把“官方”民间音乐传统（Kodály 学派、国家民间乐团）说成具有代表性的传统，却忽略了机构／官方传统与实践者始终面对的 táncház 活态传统之间的张力。

**信息过时（OD）——可能出现：**自 20 世纪 90 年代以来，当代匈牙利民间音乐界已有显著发展；AI 的训练数据很可能偏向较早的资料。询问当前乐团、近期发展或当代音乐界的问题，很可能会得到过时或不完整的回答。

**对海外传统的复杂性认识不足：**AI 可能会将特兰西瓦尼亚匈牙利民间传统一概归入“匈牙利民间音乐”，或将其视为完全独立的传统，从而忽略匈牙利本土传统与海外传统之间的复杂关系，而这种关系是 táncház 运动自我认知的核心。

**对争议性主张表现出错误的自信：**有关各种民间传统“真实性”或“纯粹性”的问题，涉及匈牙利民间文化圈内正在进行的文化与政治辩论。实践者仍有明显分歧，AI 却可能把其中一种立场说成共识。

讨论指南

个人反思（课前讨论前 5 分钟）：

• AI 哪些地方说对了？它在哪些方面确实有帮助？
• 你发现的最显著扭曲是什么——哪一点最可能误导原本不了解情况的人？
• AI 是自信地答错了，还是恰当地表达了不确定性？
• 你的发现说明 AI 的知识来源（它接受了哪些资料的训练）是什么？

**两人比较：**与研究了不同领域（体育、文化传统、学术学科）的搭档一起比较发现：

• 你们都发现了哪些类型的扭曲？
• 你们所研究的两个领域中，扭曲有何不同？
• 是否存在某种规律？

全班综合讨论——可推广的问题：“根据大家的发现，AI 处理专业知识时有哪些系统性规律？AI 一贯擅长什么？又一贯会在哪些方面出错或造成扭曲？还有，如果 AI 在我们擅长的领域都如此，那么这说明了什么——对于那些我们谁都不擅长的领域？”

已知局限

1. 这项活动要奏效，必须具备真正的专业知识。 对某个领域只有浅显了解的学生，无法发现与真正的专家同等质量的失真之处。学生能够指出 AI 遗漏的具体、可明确命名的差异时，活动效果最好，而不只是说“AI 有些地方答错了”。教师在开展活动前应评估学生是否确实具备所需深度的专业知识。

2. 这项活动可能会过度针对某个 AI 工具的知识盲点。 在 ChatGPT 中发现的失真，在使用不同数据训练的其他模型中可能并不存在。教学目标是培养可迁移的审慎态度，而不是统计某个特定模型的错误。讨论总结必须明确说明这一点。

3. 文化与少数群体的专业知识会带来情感上的利害关系。 对那些在英语训练数据中代表性不足或遭到错误呈现的传统（地区传统、少数群体文化、非西方领域）具有文化专业知识的学生，可能会发现令他们感到切身重要的 AI 失真。教师应做好准备，以恰当的方式引导学生讨论这些发现。

4. 专家—新手框架在 AI 领域的具体应用，直接的实证验证有限。 关于专业知识的研究（Chi et al. 1988；Ericsson & Smith 1991）为人类专业能力的发展提供了扎实的实证支持。将其用作检测 AI 失真的框架有其合理依据，但仍属新颖应用——“激活专业知识比抽象警告更能培养持久的 AI 审慎态度”这一具体主张尚未经过正式检验。