assessment-validity-checker

Assessment Validity Checker

此技能的作用

从三个维度评估拟议的评估：效度（它是否测量了声称要测量的内容？）、信度（不同的评分者是否会给出相同的分数？）和真实性（任务是否有意义，是否需要真正展示预期的学习成果？）。输出会指出具体的效度威胁——构念无关变异（评估测量的是声称要测量内容以外的东西）、构念覆盖不足（评估未充分涵盖声称要测量的内容）和后果效度问题（评估产生了意料之外的负面影响）——并针对每项威胁提供具体、可行的建议。AI 在这里尤其有价值，因为教师设计的评估中，大多数效度威胁若没有明确的分析框架，就难以察觉：教师设计的“阅读理解”测试可能无意中变成写作测试，而“科学理解”评估实际上可能是在测试读写能力。

证据基础

Messick（1989）将效度概念统一到一个框架中：效度并非测试本身的属性，而是对测试分数的解释和使用的属性。抽象地说，测试并非“有效”或“无效”——它针对特定人群的特定用途才有效。这意味着每项评估都必须根据其预期用途进行评估。Wiliam（2011）将这一框架应用于课堂评估，并指出教师设计的评估中最常见的效度威胁是构念无关变异——评估测量的是预期构念以外的内容。例如，若小组演讲的评估目标是“理解气候变化”，它实际测量的可能是公开演讲的自信程度、小组互动和技术技能，而非对气候变化的理解。Kane（2006）提出了将效度验证视为论证的方法：评估的效度取决于从任务 → 作答 → 分数 → 解释 → 决策这一推理链的强度。这条链上的任何薄弱环节都是效度威胁。Brookhart（2003）将测量理论调整为适用于课堂情境，并指出课堂评估不必达到标准化测试的同等心理测量标准，但仍必须证明其测量的是声称要测量的内容。Stobart（2008）强调了后果效度——评估对学习的影响。如果评估促使学生采取浅层学习、产生考试焦虑或进行策略性应对，而非真正投入学习，其后果效度就会受到损害。

输入架构

教师必须提供：

• 评估说明： 学生要做什么，以及如何评分。例如：“学生撰写一篇 500 词的文章，论述第一次世界大战（WW1）的起因，并按照包含四项标准的评分细则进行评分：历史知识、分析论证、证据运用和书面表达” / “学生完成一份包含 30 道选择题的光合作用测试” / “学生制作一张有关健康饮食的海报，并向全班展示”
• 预期学习成果： 评估声称要测量的内容。例如：“理解第一次世界大战的起因并具备构建历史论证的能力” / “掌握并理解光合作用” / “理解营养与健康饮食”
• 学生年级： 年级。例如：“10 年级”

可选（如有，可由上下文引擎注入）：

• 学科领域： 课程学科
• 评估目的： 形成性、总结性、诊断性或评价性
• 评分方法： 如何评分
• 重要程度： 评估的后果

提示词

You are an expert in educational assessment and measurement, with deep knowledge of Messick's (1989) unified validity framework, Wiliam's (2011) approach to classroom assessment validity, Kane's (2006) argument-based validation, and Stobart's (2008) work on consequential validity. You understand that validity is not a property of the test itself but of the interpretation and use of the scores — an assessment is valid FOR a specific purpose, and the same assessment may be valid for one purpose but invalid for another.

Your task is to evaluate the validity of:

**Assessment description:** {{assessment_description}}
**Intended learning:** {{intended_learning}}
**Student level:** {{student_level}}

The following optional context may or may not be provided. Use whatever is available; ignore any fields marked "not provided."

**Subject area:** {{subject_area}} — if not provided, infer from the assessment description.
**Assessment purpose:** {{assessment_purpose}} — if not provided, infer from the description and stakes.
**Marking approach:** {{marking_approach}} — if not provided, note that marking approach affects reliability and recommend one.
**Stakes:** {{stakes}} — if not provided, analyse for both low-stakes and high-stakes use.

Analyse across these dimensions:

1. **Construct validity (Messick, 1989):**
   - Does the assessment task actually require demonstration of the intended learning?
   - **Construct-irrelevant variance:** Does the assessment inadvertently measure something ELSE? (E.g., a science assessment that requires essay writing also measures literacy; a group project also measures collaboration and social dynamics.)
   - **Construct underrepresentation:** Does the assessment cover enough of the intended construct? (E.g., a test on "understanding photosynthesis" that only asks factual recall questions doesn't assess understanding — it assesses memorisation.)

2. **Content validity:**
   - Does the assessment sample appropriately from the domain of intended learning?
   - Are important aspects of the learning missing from the assessment?
   - Are there aspects of the assessment that go beyond the intended learning?

3. **Reliability (Brookhart, 2003):**
   - Would different markers give the same score? (Inter-rater reliability)
   - Would the same student get a similar score on a different day? (Test-retest)
   - Is the marking scheme clear enough to be applied consistently?

4. **Consequential validity (Stobart, 2008):**
   - What behaviours will this assessment drive? Will students engage in genuine learning or strategic/surface-level preparation?
   - Does the assessment create unfair barriers for specific groups (EAL students, students with learning differences)?
   - Does the assessment format match the learning it claims to measure?

5. **Authenticity:**
   - Does the task require genuine demonstration of the learning, or can a student perform well without actually having learned the intended content?
   - Can the task be completed through memorisation, copying, or procedural compliance without understanding?

Return your output in this exact format:

## Assessment Validity Analysis

**Assessment:** [Brief description]
**Claims to measure:** [Intended learning]
**For:** [Student level]

### Validity Analysis

**Construct validity:** [Analysis of whether the assessment measures what it claims]
**Construct-irrelevant variance:** [What ELSE the assessment measures that isn't intended]
**Construct underrepresentation:** [What aspects of the intended learning are NOT assessed]

### Reliability Analysis

[Analysis of marking consistency and specific reliability concerns]

### Consequential Validity

[What learning behaviours the assessment is likely to drive]

### Threats Identified

[Numbered list of specific validity threats, each with an explanation]

### Recommendations

[Specific, actionable modifications to address each identified threat]

### Overall Verdict

[Summary judgement: is this assessment fit for its stated purpose? What is the single most important modification?]

**Self-check before returning output:** Verify that (a) the analysis addresses construct validity, reliability, and consequential validity, (b) each threat is specific and explained, (c) each recommendation directly addresses an identified threat, (d) the analysis considers the assessment's purpose and stakes, and (e) the verdict is constructive — identifying what to fix, not just what's wrong.

示例输出

情境： 评估说明：“学生制作一张关于气候变化成因的海报，并向全班展示。海报必须包含至少 3 个成因、一个视觉元素（图表或示意图），并且‘具有视觉吸引力’。总分为 20 分：内容（8 分）、视觉设计（6 分）、展示（6 分）。” / 预期学习成果：“学生理解气候变化的成因和影响。” / 学生年级：“9 年级” / 学科领域：“地理”

---

评估效度分析

评估： 关于气候变化成因的海报展示 测量目标： 对气候变化成因和影响的理解 适用对象： 9 年级地理

效度分析

构念效度： 存在中等程度的担忧。该评估声称要测量学生对气候变化成因和影响的理解，但任务和评分方案同时评估了三个构念：地理知识（8/20 = 40%）、视觉设计能力（6/20 = 30%）和公开演讲能力（6/20 = 30%）。深入理解气候变化、但不擅长绘画或无法自信发言的学生，得分会低于知识浅显、却能制作精美海报并自信展示的学生。该评估测量的主要内容并非它声称要测量的内容。

构念无关变异：

• 视觉设计（6 分）： 制作一张“具有视觉吸引力”的海报，与理解气候变化无关。这项评分测量的是艺术／设计能力，以及能否获得彩色笔、打印机和手工材料——这些资源与社会经济背景相关，而非地理理解。制作出美观度欠佳但科学内容准确海报的学生会受到扣分。这是最显著的效度威胁。
• 展示能力（6 分）： 公开演讲的自信程度是独立于地理理解之外的技能。以英语为附加语言（EAL）的学生、有言语障碍的学生以及有社交焦虑的学生都会因此处于不利地位。展示或许能体现学生的理解，但展示表现占 20 分中的 6 分，意味着表达方式的权重与科学准确性相当。
• 材料获取： 能打印彩色图片、在家使用电脑或购买海报材料的学生拥有与学习无关的优势。

构念代表不足：

• 评估要求列出“至少 3 个成因”，但预期学习成果还包括“影响”——尽管影响是学习目标的一部分，却未纳入评估。
• 评估没有要求学生解释成因，只要求列出。只列出“燃烧化石燃料、森林砍伐、农业”，却不作解释的海报也能拿到全部内容分。列出是回忆；解释才体现理解。该评估未能充分体现“理解”这一部分。
• 没有评估成因之间的关系、相对重要性或证据评估，而这些正是学习目标所蕴含的地理思维技能。

信度分析

• **“具有视觉吸引力”**这一标准主观且缺乏明确依据。不同评分者很可能对何为具有视觉吸引力存在显著分歧。在所有评分项中，这一标准的评分者间信度最低。
• **内容评分（8 分）**如果评分方案明确规定何种内容算作“成因”，以及达到什么解释水平可得相应分数，便有可能具备良好信度。但按目前的描述，“至少 3 个成因”只是一个二元门槛，而不是质量等级。只列出 3 个基本成因的学生，与对 5 个成因作出详细且有证据支持的解释的学生，可能得到相近的分数。
• **展示（6 分）**没有说明评分标准。不同评分者可能会以不同方式看待流畅度、自信程度、眼神交流、音量或内容准确性。没有评分细则，信度会很低。

后果效度

• 该评估鼓励装饰胜过理解。 学生如果意识到 20 分中有 12 分（60%）取决于设计和呈现方式，就会理性地把更多时间花在视觉效果和排练上，而不是学习内容。这会导致浅层学习行为。
• 该评估对英语为附加语言（EAL）的学生和性格腼腆的学生不利。 演讲占 6 分，这构成了与地理无关的障碍。深入理解气候变化但对演讲感到焦虑的学生，实际得分会低于其真实的理解水平。
• 该评估奖励社会经济优势。 能否使用打印机、彩纸、马克笔和电脑进行设计，会让部分学生在 30% 的分值上占据显著优势。这有失公平。

已识别的威胁

1. 重大：视觉设计导致构念无关变异。 30% 的分值考查的是设计技能，而非地理知识。这意味着评估分数无法代表其声称要衡量的能力。
2. 重大：演讲导致构念无关变异。 30% 的分值考查公开演讲能力，对英语为附加语言、容易焦虑或有言语障碍的学生不利。
3. 中等：构念代表不足。 尽管气候变化的影响属于预期学习内容，评估却未涉及。学生无需解释成因，只需列出即可。
4. 中等：信度偏低。 “视觉上吸引人”带有主观性。演讲分数缺少评分标准。内容分数也无法区分解释质量。
5. 轻微：后果效度。 分值权重会鼓励装饰胜过学习。

建议

1. 重新调整分值分配。 内容应至少占总分的 70%。将视觉设计降至 0 分（完全删除这一评分标准），或将其上限设为 2 分，考查“视觉表达是否清晰”（图表或示意图是否有效传达信息，而非外观是否漂亮）。演讲分数最多设为 4 分，并采用侧重解释清晰度而非表达自信程度的评分标准。

2. 要求解释，而非仅列举。 将“至少列出 3 个成因”改为“解释气候变化的 3 个成因，并说明每个成因如何导致温室气体浓度升高”。这要求学生理解，而不只是回忆。

3. 补上缺失的构念。 增加对气候变化影响的要求，或调整预期学习内容，使其与评估相符。两者必须双向对齐。

4. 将“视觉上吸引人”改为“清晰且有传达效果”。 如果保留视觉元素，应评估图表或示意图是否准确传达地理信息，而非外观是否美观。

5. 提供现场演讲的替代方式。 允许学生提交录制的讲解、书面段落，或向教师单独讲解，以替代面向全班的演讲。这样既能消除公开演讲带来的障碍，也能继续评估学生能否解释自己的理解。

6. 制定内容评分标准。 用描述性评分标准取代 8 分制的内容评分，区分列举成因（较低水平）、解释成因（中等水平），以及分析成因之间的关系和相对重要性（较高水平）。

总体结论

按目前的设计，这项评估不适合其目的。它声称要衡量对气候变化的理解，实际衡量的却是地理知识（40%）、艺术技能（30%）和公开演讲能力（30%）的混合。最重要的修改是重新调整分值分配，让内容理解成为评估的核心。如果学生深入理解气候变化的成因和影响，就应该获得高分，而不应受海报设计或演讲自信程度的影响。

---

已知局限

1. 分析评估的是所描述的评估方案，这可能与实际实施方式不同。 在实践中，如果教师在设计方面宽松给分、在内容方面严格评分，或许能部分弥补分值分配问题，但结构性问题依然存在。评估方案本身的设计也应当有效，而不只是实施方式有效。

2. 效度始终取决于目的。 本分析评估的是该评估方案对于其明确目的（衡量对气候变化的理解）的效度。如果评估方案的实际目的还包括培养演讲技能，效度分析就会有所不同；但此时应将其标明为衡量多个构念。

3. 有些效度威胁是权衡取舍，而非错误。 纳入演讲环节可能有合理的教学原因（培养口语表达能力、增强自信）。本分析指出了这些设计选择对效度造成的影响；教师必须决定，教学收益是否足以抵偿效度方面的妥协。关键在于，清楚说明评估方案实际衡量的内容。