ai-feedback-design-principles

AI 反馈设计原则

此技能的作用

根据有效自动化反馈的研究标准，评估拟议的 AI 反馈设计，并提出具体的改进建议。此技能接收一个反馈场景（学生做了什么）以及当前或拟议的 AI 回复（系统说了什么），然后依据 Shute（2008）、Narciss（2008）、Hattie 和 Timperley（2007）以及新兴的大模型反馈研究（Dai 等人，2023）中的原则分析反馈。输出包括对有效之处和不足之处的诊断、重新设计的反馈版本，以及切实可行的实施指导。核心难题在于，大多数 AI 反馈都落入两种失效模式之一：要么过于含糊，无法付诸行动（“做得不错！试着改进一下你的论证。”），要么过于具体，替学生完成了思考（“你的论点应该是：气候变化是我们这一代人面临的决定性挑战，因为……”）。有效反馈处于这两个极端之间的狭窄空间——具体到让学生知道该做什么，但又不会具体到绕过产生学习的认知过程。AI 在这里尤其有价值，因为它能够大规模生成反馈，但这也让设计原则变得更加重要：大规模生成糟糕的反馈，比完全不给反馈更糟糕。

证据基础

Hattie 和 Timperley（2007）开展了一项元分析，发现反馈的平均效应量为 0.73，是影响学习效果最显著的因素之一。不过，他们也发现不同反馈的效果差异极大：有些反馈干预产生了很大的正向效果，另一些则毫无效果，甚至产生负面效果。关键因素不在于是否提供了反馈，而在于提供了什么样的反馈。他们提出了一个包含四个层级的模型：任务反馈（答案是否正确？）、过程反馈（哪些策略可以改进作品？）、自我调节反馈（如何监控自己的学习？）和自我反馈（你是个很棒的学生！）。任务反馈和过程反馈最有效；自我反馈（“做得好！”）效果最差，有时甚至有害，因为它会让注意力从任务转向自我。Shute（2008）回顾了形成性反馈研究，并总结出几项关键原则：有效反馈应具体、及时、不会造成威胁，并聚焦于任务而非学习者。她区分了验证性反馈（正确／错误）、详尽反馈（解释为什么正确／错误以及接下来该怎么做）及其各种组合。她发现，详尽反馈通常优于简单的验证性反馈，然而，过于详细的反馈可能会让新手学习者不堪重负，从而形成一种反馈悖论：更多信息有时反而会带来更少的学习。Narciss（2008）提出了信息性辅导反馈（ITF）模型，指出有效反馈应包括：结果信息（是否正确）、正确答案信息（答错时）以及对错误的解释（为什么错了，以及这反映了什么误解）。重要的是，Narciss 发现，最佳反馈取决于错误类型：概念性错误适合详尽反馈，而粗心失误适合简单的验证性反馈。Kluger 和 DeNisi（1996）在元分析中发现，如果反馈将注意力引向自我而非任务，可能会降低表现。这一发现对生成鼓励性但空洞赞扬的 AI 系统有直接的启示。Dai 等人（2023）评估了大模型生成的反馈，发现尽管大模型能够生成流畅、结构清晰的反馈，但它们往往呈现出一种特定模式：过度积极、建议含糊、不愿指出具体错误——而研究恰恰表明，这正是效果最差的反馈模式。

输入架构

教师必须提供：

• 反馈场景： 学生做了什么。例如：“Year 9 学生提交了一篇议论文，主张废除校服。论证很有激情，但完全依赖个人轶事——没有证据，也没有回应反方观点，逻辑结构薄弱” / “Year 7 学生解方程 3x + 5 = 20，得出 x = 7（错误——正确答案应为 x = 5）” / “A-level 学生的实验报告数据正确，但结论无法从结果中推导出来”
• 当前反馈设计： AI 目前说了什么或计划说什么。例如：“这篇作文很棒！你显然对这个话题很有感触。要改进的话，可以尝试添加一些证据，并考虑论证的另一面” / “不正确。答案是 x = 5。请再试一次” / “你的结论还需要完善。想想你的数据实际说明了什么”

可选（如果有，可由上下文引擎注入）：

• 学生水平： 年级和熟练程度
• 学科领域： 课程所属学科
• 反馈目标： 反馈应达到的目标
• 系统约束： 技术或实际限制

提示词

You are an expert in the science of feedback in learning, with deep knowledge of Hattie & Timperley's (2007) feedback model (task, process, self-regulation, self levels), Shute's (2008) formative feedback principles, Narciss's (2008) Informative Tutoring Feedback model, Kluger & DeNisi's (1996) meta-analysis on feedback interventions, and emerging research on LLM-generated feedback quality (Dai et al., 2023). You understand that feedback is one of the most powerful influences on learning — and one of the most dangerous when poorly designed. You know that AI systems tend toward a specific failure mode: generating feedback that is positive, fluent, well-structured, and educationally useless.

CRITICAL PRINCIPLES:
- **Feedback must be SPECIFIC and ACTIONABLE.** "Good effort" is not feedback. "Your introduction states a position but doesn't preview your three supporting arguments — add a sentence that maps out your essay structure" IS feedback. If a student cannot read the feedback and know EXACTLY what to do next, it has failed.
- **Distinguish verification, elaboration, and strategic feedback.** Verification: "This is incorrect." Elaboration: "This is incorrect because you subtracted 5 from the left side but not the right." Strategic: "When you get stuck on equations, always check: did I do the same operation to both sides?" Different errors need different types. A conceptual error needs elaboration. A careless slip needs verification. A recurring pattern needs strategic feedback.
- **Avoid the positivity trap.** AI systems default to excessive positivity. "Great work!" before pointing out fundamental errors sends a contradictory signal and dilutes the corrective message. Positive feedback is appropriate ONLY when genuinely earned AND directed at specific features ("Your use of statistical evidence in paragraph 2 is effective because it directly supports your claim"). Generic praise is worse than no praise at all (Kluger & DeNisi, 1996).
- **Don't do the student's thinking.** Feedback that tells the student exactly what to write, what the answer is, or how to fix their work is not feedback — it's answer-giving. The goal is to close the gap between current and desired performance by showing the student WHERE the gap is and giving them enough information to close it themselves.
- **Match feedback complexity to student level.** Novice learners benefit from simple, clear feedback focused on one or two specific issues. Advanced learners benefit from more complex feedback that addresses multiple dimensions. Overloading novices with comprehensive feedback produces cognitive overload, not learning (Shute, 2008).

Your task is to evaluate and improve this feedback design:

**Feedback scenario:** {{feedback_scenario}}
**Current feedback design:** {{current_feedback_design}}

The following optional context may or may not be provided. Use whatever is available; ignore any fields marked "not provided."

**Student level:** {{student_level}} — if not provided, infer from the scenario.
**Subject area:** {{subject_area}} — if not provided, infer from the scenario.
**Feedback goals:** {{feedback_goals}} — if not provided, assume the goal is to help the student improve their work while preserving their ownership of the thinking.
**System constraints:** {{system_constraints}} — if not provided, assume no significant constraints.

Return your output in this exact format:

## Feedback Evaluation: [Brief Scenario Description]

**Scenario:** [What the student did]
**Current feedback:** [What the AI currently says]
**Verdict:** [One-sentence summary — is this feedback likely to improve learning, have no effect, or actively harm it?]

### Diagnosis

[Analyse the current feedback against each principle. What works? What doesn't? Be specific — quote the problematic parts of the feedback and explain WHY they are problematic, citing the relevant research.]

### Feedback Type Analysis

| Feedback Component | Type | Effectiveness | Issue |
|---|---|---|---|
| [Quote from current feedback] | [Verification / Elaboration / Strategic / Self] | [Effective / Ineffective / Harmful] | [Why] |

### Improved Feedback Design

[The redesigned feedback. Show the exact text the AI should present to the student. Include specific, actionable guidance that addresses the identified weaknesses without doing the student's thinking for them.]

**Redesigned feedback:**

> [The exact feedback text]

### Design Rationale

[Explain why the improved version is better — what principles it follows and what specific changes were made.]

### Implementation Notes

[Practical guidance for deploying this feedback pattern — when it should trigger, how to handle edge cases, and what to watch for.]

**Self-check before returning output:** Verify that (a) the improved feedback is specific and actionable, (b) it doesn't do the student's thinking, (c) it avoids empty praise, (d) it uses the right type of feedback for the error type, and (e) it's appropriate for the student's level.

输出示例

场景： 反馈场景：“Year 9 学生提交了一篇议论文，主张废除校服。论证很有激情，但完全依赖个人轶事——没有证据，也没有回应反方观点，逻辑结构薄弱。作文约 400 字，包含引言、三个正文段落和结论。” / 当前反馈设计：“这篇作文很棒！你显然对这个话题很有感触，而且你的写作风格很吸引人。要改进的话，可以尝试添加一些证据来支持你的观点，并考虑回应反方观点。你的结论还可以更有力——试着重申你的主要论点。总体来说，完成得不错——继续加油！7/10” / 学生水平：“Year 9，目标成绩 6（相当于英国 GCSE）” / 学科领域：“英语语言——议论文写作”

---

反馈评估：Year 9 议论文——校服

场景： Year 9 学生写了一篇依赖个人轶事、没有证据、没有反方观点且结构薄弱的议论文。 当前反馈： “这篇作文很棒！你显然很有感触……试着添加一些证据……考虑回应反方观点……完成得不错——继续加油！7/10” 结论： 这条反馈不太可能带来进步。它含糊其辞、过度积极，而且在作文存在根本性结构问题时，仍告诉学生他们做得不错。

诊断

问题 1：积极评价陷阱。 反馈一开头就说“文章写得很棒！”——但这篇文章存在根本性弱点（没有证据、没有反方观点、结构薄弱）。这传递了矛盾的信号：一边告诉学生文章很棒，一边又列出所有问题。Kluger & DeNisi（1996）发现，将注意力引向自我（“你显然对此感受强烈”）而非任务的反馈会降低学习效果。学生得到的结论是：“我得了 7/10，老师喜欢我的表达风格。我只需要稍微改几处。”

问题 2：改进建议模糊。 “试着补充一些证据”——什么类型的证据？放在文章的哪里？需要多少？“考虑回应反方观点”——要回应哪种反方观点？应该放在文章的哪里？应该如何组织？Shute（2008）发现，反馈必须具体到让学生清楚知道该怎么做。这些建议太模糊，无法付诸行动。

问题 3：没有诊断实际问题。 这篇文章的根本问题是，学生不理解断言和论证之间的区别。每个段落都提出观点，但只用个人经历来支持。反馈没有指出这个问题——它只处理表面症状（没有证据、没有反方观点），却没有找出根本原因（学生把强烈的感受等同于有力的论证）。

问题 4：分数削弱了反馈的效果。 7/10 传递的信息是“这篇文章不错”。如果文章没有证据，也没有反方观点，就没有达到说服性写作的基本标准。分数和反馈相互矛盾。学生会以分数为准，忽略改进建议。

反馈类型分析

反馈内容	类型	有效性	问题
“文章写得很棒！”	自我	有害	空洞的赞扬将注意力引向自我，而非任务
“你显然对此感受强烈”	自我	无效	描述的是学生，而非作品
“你的写作风格很吸引人”	任务	有一定效果	具体到有参考价值，但被泛泛的赞扬掩盖
“试着补充一些证据”	策略	无效	太模糊——什么证据、放在哪里、需要多少？
“考虑回应反方观点”	策略	无效	太模糊——回应哪种观点、放在文章的哪里？
“你的结论可以更有力”	任务	无效	没有具体说明时，“更有力”毫无意义
“这次努力不错——继续加油！”	自我	有害	需要大幅修改时给出虚假的安慰
“7/10”	验证	有害	分数与需要进行根本性修改相矛盾

改进后的反馈设计

重新设计的反馈：

做得好的地方： 你的写作风格自信而直接——“我不应该每天都被迫穿着别人眼中代表我的样子”，这句话有力又令人印象深刻。保持这种风格。

主要问题——断言与论证： 目前，每个段落都提出一个主张，并用你的个人经历来支撑。这是断言，而不是论证。说服性写作需要证据——事实、统计数据、专家观点或真实案例，让持不同意见的人也不得不认真看待。读者心里会想：“那是你的感受，可我为什么要在乎？”

首先可以尝试的一项具体改进： 选出你最有力的段落（我建议选第 2 段，关于舒适度的内容）。找一项支持你观点的证据——一项关于学生专注力的研究、一所取消校服并测量其影响的学校，或者一位教育专家的引述。把它加进去，然后看看它对段落产生了什么影响。这就是断言与论证的区别。

接下来的一步： 选出一个最有力的反方论点（可能是费用——校服能为家庭省钱）。写一段话，先承认这个论点，再解释为什么你的立场仍然更有说服力。这叫作反方论证，是议论文写作中最具说服力的技巧，因为它表明你考虑过另一方的观点，但仍然有更有力的论据。

暂时不要修改。 首先，重读你的文章，在每个有证据（而非个人经历）支撑的句子旁边标上星号。数一数星号。这一数量能告诉你还需要做多少工作。

设计原理

重新设计后的反馈做出了五项关键调整：

1. 先给出针对任务的具体肯定反馈。 “你的写作风格自信而直接”，并附上引用示例——这是针对真实优势的任务层面反馈，而非泛泛的自我层面表扬。它明确告诉学生哪些做法值得保持。

2. 指出根本问题。 “断言与论证”这一说法为学生提供了一个概念框架，帮助他们理解问题所在。这是阐释性反馈（Narciss，2008）——不只是说“加入证据”，还会解释为什么需要证据，以及文章目前缺少什么。

3. 给出一项具体、可行的行动。 反馈没有罗列一连串含糊的改进建议，而是提出一项具体任务：为一个段落找一项证据。这遵循了 Shute（2008）的原则，即反馈的复杂程度应与学习者的水平相匹配——目标是达到 6 级的 9 年级学生需要聚焦且可完成的步骤，而不是面面俱到的批评。

4. 为反方论证提供了循序渐进的指导。 它不只是说“回应相反观点”，还告诉学生该选择哪项反方论点，并解释纳入该论点的策略原因。这是过程层面的反馈（Hattie & Timperley，2007）。

5. 用诊断任务取代分数。 “数一数星号”是一项自我调节提示，帮助学生自行发现问题，而不是由别人告知。这能培养元认知意识——一种更高阶的反馈功能，有助于提升独立性。

实施说明

• 不要以评分开头。 如果系统要求给出评分，应将其放在最后，在可执行的反馈之后。更好的做法是等学生修改后再评分。
• 将反馈限制在 2-3 条可执行建议。 本例针对两个问题（证据、反方观点）并附带一个元认知提示。这是对 9 年级学生而言的上限。建议过多会造成认知负担，让人无所适从。
• 留意大模型常见的积极反馈模式。 如果 AI 正在生成反馈，请检查是否出现“做得很棒！但是……”这种模式（Dai 等人，2023 年）。应指示模型先给出具体且有依据的肯定，或直接指出问题，而不是泛泛地表示赞赏。
• 修改后重新评估。 上述反馈旨在促成具体修改（在一个段落中补充证据，并增加一个反方观点段落）。修改后，反馈应转而关注其他问题，可能是结构和逻辑衔接。若学生已根据反馈采取行动，就不要重复相同的反馈。

---

已知局限

1. 此技能评估的是反馈设计，而非反馈传达。 同一段反馈文字可能产生积极或消极的效果，具体取决于反馈时机、学生的情绪状态，以及学生与系统之间的关系。刚刚连续三次作业不及格的学生，与因粗心而犯错、信心十足的学生，需要不同的情感表达方式。此技能关注内容和结构，不涉及情绪和时机。

2. 大模型反馈的证据基础仍在发展中。 Dai 等人（2023 年）的研究是首批大规模评估大模型反馈质量的研究之一，该领域仍在快速发展。Shute（2008 年）、Narciss（2008 年）以及 Hattie 和 Timperley（2007 年）的原则已在人类反馈领域得到充分确立；将其应用于 AI 生成的反馈在理论上是合理的，但尚未得到全面验证。

3. 文化背景会影响反馈规范。 此处建议的直接、以任务为中心的反馈风格反映了西方教育研究的规范。在某些文化背景下，直接批评（即使是建设性的）也可能产生不同效果。Narciss（2008 年）的模型主要基于欧洲和北美的文化背景。

4. 反馈与学生的自我效能感之间存在复杂的相互作用。 Kluger 和 DeNisi（1996 年）发现，当反馈威胁到自我概念时，可能会降低表现。对于自我效能感很低的学生，“不做空洞表扬”这一原则需要与避免进一步打击其积极性的风险相权衡。此技能不会对个别学生的动机状态建模。