formative-assessment-loop-designer

AI 系统的形成性评估循环设计器

此技能的作用

为 AI 辅助学习环境设计完整的形成性评估循环——持续收集学生理解情况的证据、解读证据，并据此实时调整教学。Black & Wiliam（1998）的开创性元分析表明，形成性评估是教育领域最有力的干预措施之一（效应量为 0.40-0.70），但前提是评估数据确实会改变后续教学。若评估结果没有带来教学调整，那就只是一次测试。此技能设计整个循环：评估什么（不只是答案，还包括思维过程）、如何评估（通过能揭示理解情况的问题、任务和探查）、如何解读结果（区分真正的理解与表面表现），以及如何运用结果（针对不同评估结果采取具体教学措施）。VanLehn（2006）区分了“内循环”评估（每个问题步骤中实时进行）和“外循环”评估（在任务层面、题目之间进行）。AI 系统尤其擅长内循环评估——逐步监测学生的推理并实时调整——而最大的学习收益正来自这一环节。

证据基础

Black & Wiliam（1998）开展了最具影响力的形成性评估研究综述，分析了 250 多项研究，发现效应量介于 0.40 至 0.70 之间，高于大多数教育干预措施。他们将形成性评估定义为：“教师和／或学生开展的所有活动，这些活动所提供的信息可用作反馈，以调整他们正在参与的教与学活动。”关键在于：有价值的不是评估本身，而是调整。若收集数据后没有调整教学，那不过是换了个名称的总结性评估。Black & Wiliam（2009）提出了更完善的理论框架，归纳出形成性评估的五项关键策略：（1）明确并分享学习目标和成功标准，（2）设计有效的课堂讨论和任务，以收集学习证据，（3）提供能推动学习者进步的反馈，（4）让学生成为彼此的教学资源，以及（5）让学生主动负责自己的学习。这五项策略都包含一个循环：收集证据 → 解读 → 采取行动。Wiliam（2011）将这一框架转化为实用的课堂策略，并强调形成性评估必须融入教学——它不是附加活动，而是持续检查、调整和响应的过程。他指出，有效开展形成性评估的最大障碍不在于数据收集，而在于数据运用：教师往往收集了数据，却不会据此改变教学。VanLehn（2006）分析了辅导系统的行为，并识别出两种层级的评估循环。“外循环”在题目之间运行：学生完成一道题后，系统决定接下来要做什么（再做一道类似的题、做一道更难的题、复习，或学习新主题）。“内循环”在题目过程中运行：系统在每一步评估学生的回答，并提供反馈、提示或支架。VanLehn 发现，内循环是决定智能辅导系统（ITS）效果的更重要因素——在步骤层面进行评估并作出响应的系统，效果远胜于只在题目层面进行评估的系统。Shute & Zapata-Rivera（2012）回顾了自适应教育系统，发现最有效的系统会结合持续评估与即时教学调整，形成“紧密”的形成性评估循环，尽可能缩短评估与响应之间的时间。

输入架构

教师必须提供：

• 学习目标： 学生要学习什么。例如：“理解面积与周长的区别——何时使用各自的概念、如何计算，以及为什么二者相互独立（一个图形的面积可能很大但周长很小，反之亦然）” / “撰写有效的主题句，提出明确的论点，而不只是陈述事实或宣布主题” / “理解供需关系——价格变化如何影响供给量和需求量，以及均衡价格如何确定”
• 当前评估方式： 目前如何检查学生是否理解。例如：“我在课程结束时用一张离堂测验单检查——共 3 道题。如果大多数学生答对，我就继续讲新内容；如果没有，下节课重新讲解” / “我在周末批改作文并提供书面反馈” / “AI 系统每做完 10 道题就安排一次测验，但不会根据结果调整后续内容”

可选（如有，则由上下文引擎注入）：

• 学生水平： 年级和熟练程度
• 学科领域： 课程所属学科
• AI 系统能力： 技术能够实现的功能
• 班级人数： 学生人数
• 评估频率： 收集数据的频率

提示词

You are an expert in formative assessment design for AI-enabled learning environments, with deep knowledge of Black & Wiliam's (1998, 2009) formative assessment framework, Wiliam's (2011) practical implementation strategies, VanLehn's (2006) inner-loop/outer-loop distinction, and Shute & Zapata-Rivera's (2012) adaptive assessment systems. You understand that formative assessment is not a type of test — it is a PROCESS of continuously eliciting evidence of understanding and using that evidence to adjust instruction. You also understand VanLehn's critical finding: assessment and feedback at the STEP level (inner loop) is dramatically more effective than assessment at the TASK level (outer loop).

CRITICAL PRINCIPLES:
- **Assessment must change instruction.** If the assessment data doesn't lead to a different instructional response, it's not formative — it's just a test. For every assessment point, specify WHAT CHANGES based on the result. "If the student gets it right, move on" is insufficient. "If the student gets it right, increase difficulty by X; if wrong in way A, respond with action A; if wrong in way B, respond with action B" — that's formative.
- **Assess THINKING, not just answers.** A correct answer might hide a misconception (right answer, wrong reasoning). An incorrect answer might contain valuable partial understanding. The assessment must probe the reasoning BEHIND the answer. In an AI system: require students to show working, explain their thinking, or select from options that reveal specific reasoning patterns.
- **Inner-loop assessment is more powerful than outer-loop.** VanLehn (2006): assessing at each problem step (and responding immediately) produces better learning than assessing only at the end of a problem. Design the loop to operate at the step level where possible.
- **Use multiple elicitation methods.** Don't rely solely on correct/incorrect. Use: diagnostic questions (MCQs where each wrong answer maps to a specific misconception), explanation prompts ("Why did you choose that?"), confidence ratings ("How sure are you?"), and process observations (how long did they take? did they use a hint?).
- **The assessment loop must be TIGHT.** The shorter the delay between assessment and instructional response, the more effective the formative process. An AI system can respond in seconds. Exploit this advantage — don't collect data now and act on it next week.

Your task is to design a formative assessment loop for:

**Learning objective:** {{learning_objective}}
**Current assessment approach:** {{current_assessment_approach}}

The following optional context may or may not be provided. Use whatever is available; ignore any fields marked "not provided."

**Student level:** {{student_level}} — if not provided, design for a general secondary school context.
**Subject area:** {{subject_area}} — if not provided, infer from the objective.
**AI system capabilities:** {{ai_system_capabilities}} — if not provided, design for an AI system that can present problems, monitor responses, provide feedback, and adapt problem selection in real time.
**Class size:** {{class_size}} — if not provided, assume a class of 30 students working individually on AI-enabled devices.
**Assessment frequency:** {{assessment_frequency}} — if not provided, design for continuous inner-loop assessment with outer-loop checks every 5-10 problems.

Return your output in this exact format:

## Formative Assessment Loop: [Learning Objective]

**Objective:** [What students are learning]
**Current approach:** [How assessment works now]
**Redesigned approach:** [How the formative loop works — one-sentence summary]

### Loop Architecture

[The complete assessment loop structure — inner loop (step-level) and outer loop (task-level)]

**Inner Loop (within each problem):**
[What is assessed at each step, how, and what the response is]

**Outer Loop (between problems):**
[What is assessed after each problem/set of problems, and how it determines what comes next]

### Elicitation Strategies

[The specific methods for surfacing student understanding — not just "quiz them" but the SPECIFIC question designs, process observations, and explanation prompts]

**Strategy [N]: [Name]**
- **What it assesses:** [What aspect of understanding]
- **How it works:** [The specific mechanism]
- **Example:** [A concrete example for this learning objective]
- **What to look for:** [What different responses reveal about understanding]

### Interpretation Framework

[How to interpret student responses — the decision rules that connect assessment evidence to instructional actions]

| Evidence Pattern | What It Probably Means | Confidence | Instructional Response |
|---|---|---|---|
| [Pattern] | [Interpretation] | [High/Moderate/Low] | [What the system does next] |

### Response Actions

[The specific instructional adjustments triggered by different assessment results — not just "reteach" but exactly how to reteach]

### Teacher Dashboard

[What the teacher needs to see — the key metrics and alerts that inform teacher-level decisions, separate from the AI's real-time responses]

### Loop Validation

[How to check that the assessment loop is actually improving learning — the meta-assessment of the assessment]

**Self-check before returning output:** Verify that (a) every assessment point triggers an instructional response, (b) thinking is assessed not just answers, (c) inner-loop assessment is included, (d) multiple elicitation methods are used, and (e) the loop is tight (minimal delay between assessment and response).

输出示例

场景： 学习目标：“理解面积与周长的区别——何时使用各自的概念、如何计算，以及为什么二者相互独立（一个图形的面积可能很大但周长很小，反之亦然）” / 当前评估方式：“我分别用两节课讲解面积和周长，然后发一张包含 20 道计算题的练习单（10 道面积题，10 道周长题）。我批改练习，如果超过三分之一的全班学生在任一部分的得分低于 7/10，就重新讲解。主要问题是，学生在练习单上两种计算都能做对，但考试时却会把它们混淆——题目要求算面积时用了周长公式，反之亦然。问题不在计算，而在于不知道该用哪种计算方法。” / 学生水平：“6 年级” / 学科领域：“数学——测量” / AI 系统能力：“AI 辅导系统，可提供题目、接受自由文本和多项选择回答、记录学生答题时间、提供反馈并调整题目选择。还可以显示图形的图片或示意图。” / 评估频率：“持续进行”

---

形成性评估循环：面积与周长

目标： 理解何时使用面积或周长、如何分别计算，以及为什么二者相互独立 当前方式： 分开教学 → 综合计算练习单 → 批改并重新讲解 重新设计的方式： 持续评估循环，探查学生知道该使用哪种计算方法（而不只是计算是否正确），通过诊断性问题区分概念理解与程序熟练度

循环架构

内循环（每道题内）：

步骤 1 — 辨别检查： 在学生进行任何计算之前，系统会询问：“这是一个面积问题还是周长问题？你怎么知道？”这是关键的评估节点。最常见的错误（使用错误的公式）发生在这一步，而不是计算过程中。系统会先评估学生的概念辨别能力，再允许他们继续。

步骤 2 — 方法检查： 辨别之后，系统会询问：“你要计算什么？用一句话描述你的方法。”这能看出学生是否掌握了对应概念的解题步骤。学生正确辨别出“面积”，却描述“我要把所有边的长度加起来”，说明其辨别正确，但在解题步骤上存在错误。

步骤 3 — 计算检查： 学生进行计算。系统检查数值答案。答案正确则继续；答案错误则判断错误是算术错误（方法正确，但计算失误）还是概念错误（采用了错误的方法）。

步骤 4 — 单位检查： 系统检查学生是否使用了正确的单位（面积用 cm²，周长用 cm）。即使数值答案正确，单位错误也可能表明学生在概念上存在混淆。

外循环（每 5 道题）：

每完成 5 道题后，系统会回顾内循环回答的模式：

• 如果辨别准确率 ≥ 80%： 提高难度（更复杂的形状、应用题、比较题）
• 如果辨别准确率 < 60%： 切换到概念构建任务（比较周长相同但面积不同的形状）
• 如果辨别正确但计算经常出错： 针对已正确辨别的概念提供计算练习
• 如果呈现混合模式： 提出一道旨在找出具体困惑点的诊断题

诱导策略

策略 1：先判断问题类型

• 评估内容： 学生是否知道题目要求计算哪种量
• 运作方式： 提出一道文字题，先问“这是求面积还是周长？”再要求计算。这样可以将概念判断与计算步骤区分开来。
• 示例： “一位农民想在一个长 20m、宽 15m 的矩形田地周围建篱笆。这是求面积还是周长的问题？”然后另行提问：“计算答案。”
• 观察要点： 能正确判断为“周长”的学生（建篱笆＝沿着外侧围一圈），以及回答“面积”的学生（他们可能是被“田地”一词或这两个尺寸误导）

策略 2：诊断性选择题

• 评估内容： 错误答案背后的具体误解
• 运作方式： 提出一道题，其中每个错误选项都对应一种特定错误。学生的选择能揭示其推理过程，而不只是答题准确与否。
• 示例： “一个长方形长 8cm、宽 5cm。它的面积是多少？”选项：(a) 40 cm²［正确］，(b) 26 cm［计算了周长］，(c) 26 cm²［计算了周长，但使用了面积单位］，(d) 13 cm［计算了半周长］。每个错误答案都能诊断出不同的问题。
• 观察要点： (b)＝计算了错误的量。(c)＝计算了错误的量，而且不理解单位的含义。(d)＝对周长有部分理解。

策略 3：概念比较任务

• 评估内容： 学生是否理解面积和周长相互独立
• 运作方式： 展示两个图形，并问“哪个面积更大？哪个周长更大？”，且两个问题的答案不同（一个图形面积更大，另一个图形周长更大）。这可以检验最深层的概念理解。
• 示例： 图形 A：长 10cm、宽 2cm 的长方形（面积 20，周长 24）。图形 B：边长 5cm 的正方形（面积 25，周长 20）。“哪个面积更大？哪个周长更大？”正确答案：B 的面积更大，A 的周长更大。
• 观察要点： 如果学生对两个问题都回答同一个图形，他们可能认为面积和周长相关（“图形越大，各方面都越大”）。这是最重要、需要解决的误解。

策略 4：结合信心程度评估回答

• 评估内容： 元认知准确性——学生是否知道自己掌握了什么
• 运作方式： 回答后，让学生评估自己的信心（确定／觉得是／猜的）。系统会追踪信心与正确率是否匹配：高信心＋错误答案＝存在误解（他们相信错误的内容）。低信心＋正确答案＝知识不牢固（他们只是碰巧答对，或仍不确定）。
• 示例： 学生很肯定地回答围篱笆问题求“周长”→正确且有信心＝理解扎实。学生不确定地回答“周长”→正确但不确定＝正在形成理解，需要更多练习。
• 观察要点： 持续出现的高信心错误，表明学生坚信某些误解，需要直接纠正，而不只是增加练习。

解读框架

证据模式	可能的含义	置信度	教学应对
正确识别、计算正确、单位正确	扎实掌握了这类题型	高	提高难度——尝试更复杂的形状、多步骤题目或比较任务
正确识别、计算错误	是程序性知识上的不足，而非概念混淆	高	提供计算支架——学生知道该做什么，但会犯算术错误
识别错误（混淆面积↔周长）	存在核心概念混淆——学生无法可靠地区分这两个概念	高	停止计算练习。转为构建概念：进行比较、讲解定义、视觉演示和联系现实情境
简单题目中识别正确，应用题中识别错误	概念知识不牢固——能在明确的情境中识别，但无法在应用情境中识别	中	增加带有明确识别提示的应用题（“这是在求覆盖的表面，还是沿着边缘绕一圈？”）
答案正确但单位错误（例如，写成 40 cm 而不是 40 cm²）	可能理解了概念，但不理解维度的数学表示	中	直接讲解为什么面积使用平方单位（它表示单位正方形的数量）
比较“面积更大”和“周长更大”时给出相同答案	认为面积和周长相关	高	关键干预：通过多个示例展示面积增加而周长减少（反之亦然）的形状
高置信度 + 持续出错	坚信某个错误概念	高	引发认知冲突：呈现一个与其观点相矛盾的情况，并请其解释这一矛盾
低置信度 + 答案正确	理解正在形成，但还不牢固	中	增加练习，并立即给予积极反馈，以同时增强信心和能力

应对措施

措施 1：概念构建模式（由识别错误触发） AI 从计算练习切换为概念构建活动：

• 展示一个长方形并询问：“这个形状的面积是什么意思？周长又是什么意思？用手指指一指或标出来给我看。”（面积 = 内部表面，周长 = 外部边缘）
• 提供现实情境：“你想粉刷一面墙——需要面积还是周长？你想给一张图片装边框——需要面积还是周长？你想为一个房间买地毯——需要面积还是周长？”
• 使用“周长相同，面积不同”的演示：展示三个周长均为 24 cm、但面积差异很大的形状（1×11、4×8、6×6）。询问：“周长怎么会相同，而面积却不同？”

措施 2：程序巩固模式（由识别正确但计算错误触发） AI 围绕已正确识别的概念，提供有支架的计算练习：

• 面积：显示网格覆盖图，让学生在计算前数方格。随后逐渐淡化网格。
• 周长：在学生相加前，显示环绕形状外侧的箭头。随后逐渐淡化箭头。
• 两者：对计算提供即时反馈，并展示纠正步骤。

措施 3：综合应用模式（由持续答对触发） AI 引入多步骤题和比较题：

• “求出这个形状的面积和周长。哪个更大？这让你感到意外吗？”
• “设计一个面积为 24 cm² 的长方形。它的周长是多少？你能设计另一个面积相同但周长不同的长方形吗？”
• 需要学生根据情境判断应测量哪一项的应用题。

教师仪表板

教师需要查看：

班级层面的概览：

• 各模式下学生所占比例（概念构建 / 程序性 / 综合应用）
• 全班最常见的错误模式（如果 60% 的学生混淆面积和周长，就需要进行全班干预）
• 陷入困境的学生（在概念构建模式下完成 10 道以上题目后仍无进步——可能需要教师干预）

个别提醒：

• “学生 X 的自信度很高，但识别准确率只有 40%——这是根深蒂固的错误观念，可能需要教师与其交流”
• “学生 Y 已处于程序性模式 15 分钟——计算准确率没有提高，请检查是否存在基础数感方面的不足”
• “学生 Z 已完成所有综合应用任务——可以进行拓展（组合图形、圆、表面积）”

关键指标：识别准确率与计算准确率。 如果全班的识别准确率低于 70%，但计算准确率高于 80%，那么当前的评估方式（计算练习单）掩盖了真正的问题。教师应优先开展概念教学，而不是增加计算练习。

循环验证

如何检查评估循环是否有效：

1. 比较识别任务的前测和后测。 在 AI 循环开始前，进行一份 5 题的纯识别测验（不含计算）。使用 AI 循环进行 2 次课程后，再进行一次相同的测验。如果识别准确率没有提高，就需要重新设计循环中的概念构建响应。

2. 迁移测试。 AI 教学序列结束后，给出一种 AI 未使用过的新题型（例如，估算一张包装纸是否足以包住一件礼物——这需要学生在不熟悉的情境中理解面积）。如果学生能够迁移应用，说明循环培养了理解，而不只是训练学生熟悉的题型。

3. 延迟测试。 AI 教学序列结束两周后，进行同一份识别测验。如果分数大幅下降，说明循环只带来了短期表现，而非长期学习。可以考虑在循环中加入间隔检索（学生进入下一阶段后，偶尔重新练习面积 / 周长识别）。

---

已知局限

1. 形成性评估循环需要持续的数据流。 上述设计假设 AI 系统能够实时评估学生的回答并立即做出调整。采用批处理的系统（收集数据、隔夜分析、次日调整）无法实现内循环。外循环仍然可行，也仍然有价值，但内循环评估带来的学习收益（VanLehn，2006）需要实时处理。

2. 解读框架基于概率。 学生在周长问题中选择“面积”，很可能是存在概念混淆——但也可能是看错了题目、点错了选项，或不理解“周长”一词。系统绝不应仅凭单次回答就做出确定的诊断。上述解读框架会利用回答模式（多个问题）来提高诊断的可信度。

3. Black 和 Wiliam（1998）的元分析涵盖了多种形成性评估实践。 效应量（0.40–0.70）适用于广义的形成性评估，而非专门针对由 AI 实施的形成性评估。这些原则是可靠的，但在此情境下，AI 形成性评估循环的具体效应量尚未经过实证测量。这种设计是以证据为依据的，而非经证据证实的。

4. 教师仪表板中的数据可能过于庞杂。 上述仪表板提供了有关个别学生和班级整体模式的详细信息。在 30 人的班级中，这些数据尚可管理；在有 120 名学生的年级中，数据量可能会让人应接不暇。面向更大规模场景的仪表板设计需要采用更积极的筛选和汇总方式。

5. 评估循环可能无意中缩窄课程范围。 如果 AI 循环只关注面积与周长的辨别和计算，学生可能会熟练掌握这项特定技能，却错过更广泛的数学理解（将测量作为一个概念，以及它与其他主题的联系）。Wiliam（2011）提醒，形成性评估应服务于学习，而不应定义学习。