ai-expertise-interrogation-designer

AI の専門知識を問い直すアクティビティの設計

このスキルでできること

Kharbach（2026）の「Funhouse Mirror（歪んだ鏡）」というアクティビティを作成します。このアクティビティでは、学生が自分の専門分野の知識を使って、AI の歪曲、情報の欠落、過信を見抜きます。これは、AI 評価における一般的な専門家と初心者の関係を逆転させるものです。AI リテラシーのアクティビティの多くでは、学生は初心者として、AI の限界について注意を促されます。このアクティビティでは、学生自身がその分野の専門家です。学生は、本当に詳しいこと、つまり深く学んだ科目、競技として取り組んでいるスポーツ、育った文化的背景、隅々まで知っている地域の地理などについて AI に質問し、自分の知識を使って、AI が誤っている点、単純化しすぎている点、細部を削ぎ落としている点、あるいは根拠のない自信を持って提示している点を見つけます。このアクティビティの教育的な仕組みは、AI との直接的な対峙を通じて、適切な懐疑心を育むことです。自分の専門分野における AI の誤りを見つけることで、AI が全知ではないと実感し、その理解が長く定着します。自分のスポーツや文化的伝統、地元について、AI が自信満々に間違えるのを見つけた学生は、「AI は間違えることがある」と抽象的に注意された学生よりも、はるかに確かな懐疑心を身につけます。出力には、専門知識を活性化するための手順（AI を使う前に学生が自分の知識を記録する）、適切な質問の例、歪曲への注釈手順、その分野に応じた歪曲の分類、そしてクラスで扱った多様な専門分野にわたる発見をまとめるためのディスカッションガイドが含まれます。

エビデンスの基盤

Chi、Glaser、Farr（1988）は、専門家と初心者の枠組みを確立しました。専門家は初心者とは異なる方法で知識を整理し、問題をより深いレベルで捉え、専門分野について、より豊かで相互につながりのある表象を持っています。特に重要なのは、専門家は分野の表象に何が欠けているか、何が歪められているかに気づくという点です。専門家には、欠落を見抜くための知識があります。これがこのアクティビティの基盤です。自分の専門分野を真に理解している学生は、一般的な学生が見落とす AI の歪曲を見抜くことができます。そこにあるべきものを知っている人だけが、存在しないものに気づけるからです。Ericsson と Smith（1991）は、専門知識の特徴として、微妙な違いや予想されるパターンからの逸脱を見抜く能力を挙げています。これは、専門家が自分の分野に関する AI の出力を読むときにも働く認知メカニズムです。Thiede ら（2003）は、メタ認知の正確さ（理解度の自己評価と実際の理解度との相関）が、学習者に照合できる確かなナレッジベースがあると大幅に向上することを実証しました。自分の知識と読んだ内容との食い違いを見つけると、正確な自己評価が促されます。このアクティビティが生み出すのは、まさにこの比較です。すなわち、学生の専門分野の知識と AI の出力との比較です。Dunning ら（2003）のダニング＝クルーガー効果も、逆の観点から関係しています。ある分野についてよく知っている学生は、よく知らない学生よりも、その分野における AI の限界を見抜く能力に優れています。専門知識によって、自分自身の力量不足だけでなく、AI の能力不足も認識できるようになります。Kazemitabaar ら（2023）は、学習の場面で AI の支援が本当の知識不足を覆い隠す可能性があることを実証しました。このアクティビティは、専門家と初心者の位置づけを逆転させることで、そのような状況を明らかにするよう設計されています。

入力スキーマ

教師が以下を指定する必要があります：

• 生徒の得意分野： 生徒が本当に詳しいことです。例：「サッカー（具体的には、マンチェスター・ユナイテッドの歴史とプレミアリーグの統計）」「ハンガリーの民俗音楽と舞踊の伝統（地域に関する知識）」「競泳 — 技術、トレーニング、大会」「K-POP文化、特にBTSのディスコグラフィーとファンダム」「ブダペスト第7区の地理と歴史」
• 生徒の学年： 学年と専門知識の深さです。例：「10年生。生徒はスポーツ、音楽、地理、文化的伝統など、さまざまな分野で個々に深い知識を持っています」「12年生。生徒はAレベル相当の深さで歴史を学んでいます」

任意項目（利用可能な場合、コンテキストエンジンが挿入）：

• 検証の深さ： 表面的な誤りか、深い誤りか
• ディスカッション形式： 調査結果の共有方法
• 教科分野： 該当する場合、カリキュラム上の教科の枠組み
• 対象のAIツール： 生徒が検証するAIシステム

プロンプト

You are an expert in expertise research and AI literacy pedagogy, with knowledge of Chi, Glaser & Farr's (1988) expert-novice framework, Ericsson & Smith's (1991) expertise theory, Thiede et al.'s (2003) metacognitive accuracy research, and Dunning et al.'s (2003) work on competence and self-assessment. You understand the core mechanism of this activity: expertise enables detection. A student who has found AI confidently wrong about something they know deeply will have earned a much more durable AI skepticism than one who was warned abstractly. The pedagogical value is not in cataloguing AI errors — it is in the moment of discovery, and in the generalisation it enables.

CRITICAL PRINCIPLES:
- **The expertise must be genuine.** This activity does not work with superficial knowledge. "I know a bit about football" is not enough. "I have watched every Manchester United match for five years and know the squad statistics" IS enough. The interrogation questions must be calibrated to genuinely probe the depth of the AI's knowledge.
- **The goal is distortion taxonomy, not error hunting.** AI errors alone are unsurprising. The more valuable finding is the PATTERN: what types of distortions does AI consistently produce in this domain? Is it confidently wrong about recent events? Does it flatten cultural specificity? Does it privilege English-language sources? Does it confuse similar-but-distinct concepts?
- **Expertise activation precedes AI consultation.** Students must document what they know BEFORE asking the AI. This serves two purposes: (1) it creates a reference document that makes distortions visible as discrepancies; (2) it prevents the AI's confident output from overwriting the student's own knowledge before they've had a chance to articulate it.
- **The discussion synthesis is the most important phase.** Finding one AI error in your domain is interesting. Discovering that students with expertise in very different domains all found the SAME types of distortions (e.g., AI always sounds confident even when it's wrong; AI consistently misses recent events; AI flattens cultural specificity) is the generalisable insight that makes this an AI literacy activity, not just a fact-checking exercise.
- **Distortions are not the same as errors.** An error is factually wrong. A distortion is subtly misleading: technically true but missing crucial context, presented at the wrong level of confidence, drawn from an unrepresentative source, or flattening genuine complexity. Students with genuine domain expertise will find both — the distortions are more interesting pedagogically.

Your task is to design an AI expertise interrogation activity for:

**Student expertise domain:** {{student_expertise_domain}}
**Student level:** {{student_level}}

The following optional context may or may not be provided. Use whatever is available; ignore fields marked "not provided."

**Interrogation depth:** {{interrogation_depth}} — if not provided, design for both surface (factual accuracy) and deep (distortion, false confidence, cultural flattening) levels.
**Discussion format:** {{discussion_format}} — if not provided, design for whole-class synthesis after individual interrogation.
**Subject area:** {{subject_area}} — if not provided, frame the activity as a standalone AI literacy exercise.
**Target AI tool:** {{target_ai_tool}} — if not provided, design for a general-purpose LLM chatbot.

Return your output in this exact format:

## AI Expertise Interrogation: [Domain]

**For:** [Student level]
**Expertise domain:** [The area of genuine student knowledge]
**Interrogation depth:** [Surface / Deep / Both]

### Expertise Activation Protocol

[What students do BEFORE consulting the AI — to document their knowledge and create a reference for comparison]

**Step 1:** [Knowledge inventory — what do I know about this domain?]
**Step 2:** [Identify your strongest sub-area — where is your expertise deepest?]
**Step 3:** [Write 3-5 claims you are confident about in this domain — specific, verifiable]
**Step 4:** [Identify one area where you know the real answer is more complex than most people realise]

### Interrogation Questions

[A calibrated set of questions to ask the AI, scaled from surface to deep]

**Surface questions (factual accuracy):**
[2-3 questions where the student knows the correct answer and can check if the AI is right]

**Depth questions (complexity and nuance):**
[2-3 questions that probe whether the AI understands the nuances the student knows]

**Distortion trap questions (areas likely to reveal AI limitations):**
[2-3 questions specifically targeting the types of distortion common in this domain — recent events, cultural specificity, contested claims, insider knowledge]

### Distortion Annotation Protocol

[How students mark up AI output against their expertise]

**Annotation codes:**
[Table with codes for: factual error, false confidence, missing nuance, cultural flattening, outdated information, false universalism]

**Annotation process:** [Step-by-step instructions for comparing AI output against expertise]

### Distortion Taxonomy

[For this specific domain, what types of distortions is AI most likely to produce?]

**Most likely distortions in [domain]:**
[3-5 distortion types with explanations of why AI tends to produce them in this domain and examples of what they look like]

### Discussion Guide

**Individual reflection (before class discussion):**
[Questions students answer about their findings before sharing]

**Class synthesis:**
[How to structure the comparison across students with different expertise domains]

**The generalisable question:** [The central question that draws from specific domain findings to a general AI literacy insight]

**Self-check before returning output:** Verify that (a) the expertise activation protocol genuinely prevents AI from overwriting student knowledge, (b) interrogation questions are calibrated to the stated expertise depth, (c) distortion trap questions target domain-specific AI weaknesses, not generic errors, (d) the distortion taxonomy is specific to this domain, (e) the discussion guide includes a synthesis move that turns domain-specific findings into a generalisable insight.

出力例

シナリオ： 生徒の得意分野：「ハンガリーの民俗音楽と舞踊の伝統 — ブダペストの中等学校に通う生徒は、民俗舞踊グループに参加し、地域ごとの舞踊や音楽の違いを知っており、文化教育の一環として民俗音楽を学んでいます」／生徒の学年：「11年生。ハンガリー各地の民俗伝統について、実体験に基づく深い知識を持っていますが、音楽理論の正式な知識には個人差があります」／検証の深さ：「表面的な誤りと深い誤りの両方」／ディスカッション形式：「得意分野が異なる生徒同士のペアで話し合った後、クラス全体でまとめます」

---

AIの専門知識を検証する：ハンガリーの民俗音楽と舞踊

対象： ブダペストの中等学校に通う11年生 得意分野： ハンガリー各地の民俗音楽と舞踊の伝統 検証の深さ： 表面的な内容（事実）と深い内容（文化的な固有性、地域ごとの正確さ）

専門知識を引き出す手順

ステップ1 — 知識の棚卸し： AIツールを開く前に、ハンガリーの民俗音楽と舞踊について知っていることを5分間で書き出してください。知っている地域のスタイル（トランシルヴァニア？メゼーシェーグ？アルフェルド？）、具体的な舞踊、楽器、チャールダーシュとヴェルブンコシュの違い、民俗舞踊グループの構成や公演の慣習について知っていることなどを含めましょう。

ステップ2 — 最も得意な分野を特定する： 最も深い知識があるのはどの分野ですか？メゼーシェーグ様式の舞踊を3年間踊ってきたなら、それが最も得意な分野です。テケルーランタの地域ごとの楽器の違いを知っているなら、それが得意分野です。

ステップ3 — 自信のある主張を3つ書く： この分野について、正しいと確信しており、会話の中で根拠を示して説明できることを3つ書いてください。例：「トランシルヴァニアの民俗舞踊には、互いに置き換えられない、地域ごとの独自のスタイルがあります。カロタセグの舞踊とメゼーシェーグの舞踊には、具体的な名称のある違いがあります。」「ハンガリーのタンツハーズ運動は1970年代に始まり、共産主義体制下での文化的抵抗運動としての側面もありました。」

ステップ4 — 見えにくい複雑さを1つ特定する： ハンガリーの民俗音楽や舞踊について、部外者がよく誤解したり、単純化しすぎたりすることは何ですか？ここがAIの回答に誤りがあると予想する点です。

質問による確認

表面的な質問（事実の正確性）：

• 「ハンガリー民俗舞踊の主な地域様式にはどのようなものがあり、それぞれの特徴は何ですか？」
• 「ハンガリーのタンツハーズ運動の歴史と、その始まりはいつですか？」
• 「地域ごとに、ハンガリー民俗音楽と伝統的に結び付けられている楽器にはどのようなものがありますか？」

掘り下げた質問（複雑さと微妙な差異）：

• 「カロタセグとメゼーシェーグの民俗音楽にはどのような違いがあり、それぞれの様式を特徴付けるものは何ですか？」
• 「公式の文化プログラムにおけるハンガリー民俗舞踊の表現は、村の生活の中で実践される生きた伝統と、どのように異なってきましたか？」
• 「ハンガリーのアイデンティティ・ポリティクスにおいて、本物の民俗音楽はどのような意味を持ち、なぜ議論の的となっているのですか？」

歪曲を誘う質問（AIが間違いやすい分野）：

• 「ハンガリーで現在、特に重要な民俗音楽アンサンブルにはどのようなものがあり、様式面でそれぞれどのような特徴がありますか？」（現在の活動シーンに関するAIの知識を試します）
• 「ハンガリーの民俗伝統は、ルーマニア、スロバキア、セルビアのハンガリー系コミュニティの民俗伝統とどのように関係していますか。また、それらは同じものですか？」（ハンガリー民俗音楽と地域ごとのトランシルヴァニアの変種という重要な違いを、AIが平板化するかどうかを試します）
• 「ブダペストの民俗音楽バンドのミュージシャンは、自分たちが『伝統的なハンガリー民俗音楽』を演奏していると表現されたら、どう感じるでしょうか？」（現代の民俗音楽シーンの内側からの認識を理解しているかどうかを試します）

歪曲の注釈プロトコル

注釈コード：

コード	注釈する内容
FE	事実誤認 — AIが明らかに誤ったことを述べている
FC	誤った確信 — AIが不確かなことを確定した事実として述べている
CF	文化の平板化 — AIが異なる地域的・文化的変種を同じものとして扱っている
MN	微妙な差異の欠落 — AIの回答は技術的には正しいものの、誤解を招くほど不完全である
OD	情報の古さ — AIの情報が古い資料を反映しており、最近の展開が欠けている
FU	誤った普遍化 — 特定の文脈に限られるものを普遍的なものとしてAIが示唆している

注釈の手順：

1. 表面的な質問へのAIの回答を読みます。記録している知識と照らし合わせ、不一致があれば印を付けます。
2. 掘り下げた質問へのAIの回答を読みます。まずCFとMNに印を付けます。ここでの問題が最も起きやすいためです。
3. 歪曲を誘う質問へのAIの回答を読みます。ここでは重大な歪曲が特に予想されます。誤り、不完全さ、または誤解を招くほどの自信が感じられる箇所すべてに印を付けます。
4. 印を付けた箇所ごとに、次の形式で一文を書きます。「AIは[X]と述べています。実際は[Y]です。その隔たりは[Z]です。」

歪曲の分類

ハンガリーの民俗伝統で最も起こりやすい歪曲：

文化の平板化（CF）— 最も一般的： 主に英語の情報源で学習したAIは、「ハンガリー民俗音楽」を一枚岩のカテゴリーとして扱い、実践者にとって極めて重要な、本土のハンガリーの伝統とトランシルヴァニア／ディアスポラのハンガリーの伝統との違いを消し去る傾向があります。AIは、カロタセグとメゼーシェーグを、特有の音楽的・振付的な慣習を持つ異なる地域様式ではなく、相互に置き換え可能なものとして扱う可能性があります。

誤った普遍化（FU）— 非常によくある： AIは、「公式」の民俗音楽の伝統（コダーイ学派や国立民族舞踊団）を代表的な伝統として提示し、実践者が常に向き合っている、制度的・公式な伝統と、生きたターニチャーズの伝統との緊張関係を見落とすことがあります。

情報の古さ（OD）— 起こりやすい： 現代のハンガリー民俗音楽シーンは1990年代以降、大きく変化していますが、AIの学習データは古い情報源に偏っている可能性があります。現在のアンサンブルや最近の動向、現代のシーンについて尋ねると、古い情報や不完全な回答が返ってくる可能性が高いでしょう。

ディアスポラの伝統に関する複雑さの欠落： AIは、トランシルヴァニアのハンガリー民俗伝統を「ハンガリー民俗音楽」に一括りにするか、完全に別個のものとして扱う傾向があります。そのため、ターニチャーズ運動の自己理解の中核をなす、本土のハンガリーの伝統とディアスポラの伝統との複雑な関係を見落とします。

議論のある主張への誤った確信： さまざまな民俗伝統の「真正性」や「純粋性」に関する質問は、ハンガリーの民俗文化コミュニティ内で現在も続いている文化的・政治的な議論に関わります。実践者の間で意見が分かれているにもかかわらず、AIは一つの立場を総意として提示する可能性があります。

ディスカッションガイド

個人での振り返り（授業でのディスカッション前に5分）：

• AIが正しく答えたのはどの部分ですか？本当に役立ったのはどこですか？
• 見つけた中で最も重大な歪曲、つまり、あらかじめ知識のない人を最も誤解させるものは何でしたか？
• AIは自信たっぷりに間違えましたか？それとも適切に断定を避けていましたか？
• 調査結果から、AIの知識がどこから来ているか（どのような情報源で学習したか）について何が分かりますか？

ペアでの比較： 別の分野（スポーツ、文化的伝統、学術分野）を調べたパートナーと一緒に、調査結果を比較します。

• お互いにどのような種類の歪曲を見つけましたか？
• 2つの分野の歪曲には、どのような違いがありましたか？
• 何かパターンはありますか？

クラス全体でのまとめ — 一般化できる問い： 「みんなの調査結果を踏まえて、AIが専門知識を扱う際の体系的な傾向にはどのようなものがありますか？AIが一貫して得意とすることは何ですか？一貫して間違えたり、歪めたりするのはどのようなことですか？そして、私たちが専門家である分野でAIがこのように振る舞うとしたら、誰も専門家ではない分野については何が言えるでしょうか？」

既知の制約

1. このアクティビティを効果的に行うには、実際の専門知識が必要です。 ある分野について表面的な知識しかない学生は、本物の専門家と同じような質の歪みを見つけられません。このアクティビティは、「AI がいくつか間違えた」というだけでなく、AI が見落とした具体的で明確に言葉にできる違いを学生が特定できる場合に最も効果を発揮します。実施前に、学生が必要な深さの専門知識を本当に備えているか、教師が見極めておく必要があります。

2. このアクティビティは、単一の AI ツールの知識の欠落に過度に適合する可能性があります。 ChatGPT で見つかった歪みが、異なるデータで訓練された別のモデルにも存在するとは限りません。教育上の目標は、特定のモデルの誤りを網羅的に調査することではなく、他の場面にも応用できる懐疑的な姿勢を育むことです。議論の総括では、この点を明示する必要があります。

3. 文化的な専門知識やマイノリティに関する専門知識には、感情的な重みが伴います。 英語の訓練データに十分に含まれていない、または誤って表現されている伝統（地域の伝統、マイノリティ文化、西洋以外の分野など）について文化的な専門知識を持つ学生は、個人的に重大な意味を持つと感じられる AI の歪みに気づくことがあります。教師は、こうした発見についての議論を適切な配慮をもって進行できるよう、準備しておく必要があります。

4. 専門家と初心者の枠組みを AI に特化して応用することについて、直接的な実証的検証は限られています。 専門知識の研究（Chi et al. 1988；Ericsson & Smith 1991）は、人間の専門知識の発達について強固な証拠に裏付けられています。AI の歪みを検出する枠組みとしての応用には理論的な根拠がありますが、新しい試みです。専門知識の活用によって、抽象的な警告よりも持続的な AI への懐疑心が育まれるという具体的な主張は、正式には検証されていません。