evaluation-rubrics

评估评分标准

目录

• 工作流
• 常见模式
• 防护措施
• 快速参考

示例

场景：评估技术博客文章（1-5 分制）

标准	1（较差）	3（合格）	5（优秀）
技术准确性	存在多处事实错误，具有误导性	基本正确，有少量不准确之处	完全准确，技术严谨
清晰度	令人困惑，术语过多，结构不佳	专家易于理解，有一定结构	面向目标受众，通俗易懂，组织有序
实用价值	没有可操作的指导，仅限理论	有一些示例，适用范围有限	示例具体，可立即应用
原创性	重复常见知识，没有新见解	有一些新颖视角，在现有内容上有所拓展	方法新颖，增进理解

评分：文章 A [4, 5, 3, 2] = 平均 3.5 分。文章 B [5, 4, 5, 4] = 平均 4.5 分。
对文章 A 的反馈：“清晰度很强（5），准确性也不错（4），但需要更多实用示例（3），原创见解也较少（2）。”

工作流

复制此清单并跟踪进度：

Rubric Development Progress:
- [ ] Step 1: Define purpose and scope
- [ ] Step 2: Identify evaluation criteria
- [ ] Step 3: Design the scale
- [ ] Step 4: Write performance descriptors
- [ ] Step 5: Test and calibrate
- [ ] Step 6: Use and iterate

步骤 1：明确目的和范围

明确评估对象、评估者、结果使用者，以及哪些决策取决于评分。有关范围界定问题，请参阅 resources/template.md。

步骤 2：确定评估标准

集思广益，列出质量维度；优先考虑最重要、最易观察的维度，并平衡覆盖面与简洁性（通常采用 4-8 个标准）。有关头脑风暴框架，请参阅 resources/template.md。

步骤 3：设计评分等级

选择等级数量（1-5、1-4、1-10）、评分类型（数字型、定性型）和锚点（每个等级代表什么？）。有关评分等级选择指南，请参阅 resources/methodology.md。

步骤 4：编写表现描述

针对每个标准 × 等级，编写可观察的描述，说明对应表现的具体特征。有关编写指南，请参阅 resources/template.md。

步骤 5：测试并校准

让多位评审者为样本作品评分，比较分数、讨论差异并完善评分标准。有关评审者间信度测试，请参阅 resources/methodology.md。

步骤 6：应用并迭代

应用评分标准，收集评估者和被评估者的反馈，并根据需要修订标准或描述。使用 resources/evaluators/rubric_evaluation_rubrics.json 进行验证。最低标准：平均分 ≥ 3.5。

常见模式

模式 1：分析型评分量规（最常见）

• 结构：多个标准（行）、多个等级（列），每个单元格都有描述
• 适用场景：需要详细反馈、希望了解各维度的表现、诊断性评估
• 优点：反馈具体，能按标准识别优势与不足，信度高
• 缺点：创建和使用耗时，可能显得过于简化
• 示例：代码审查评分量规（正确性、效率、可读性、可维护性 × 1-5 分制）

模式 2：整体型评分量规

• 结构：单一总体分数，描述综合多个标准
• 适用场景：快速做出总体判断、总结性评估、标准难以区分
• 优点：快速、直观，能体现整体质量
• 缺点：反馈的可操作性较低，信度较低，无法诊断具体不足
• 示例：作文整体评分（1 = 较差的作文，3 = 合格的作文，5 = 优秀的作文，并附详细描述）

模式 3：单点式评分量规

• 结构：列出标准，仅提供“达到标准”的描述，并留出空间记录高于或低于标准的表现
• 适用场景：鼓励成长型思维的反馈、鼓励自我评估、减少惩罚感
• 优点：强调进步而非不足，创建更简单，鼓励对话
• 缺点：精确度较低，需要补充书面反馈
• 示例：设计评审（列出“视觉层次”“无障碍性”等标准，并记录“+ 焦点明确，- 对比度不足”）

模式 4：检查清单（是非式）

• 结构：由一系列是非项组成，即验收所必需的条件
• 适用场景：合规检查、最低质量门槛、通过/不通过的判定
• 优点：非常清晰、客观、易于使用
• 缺点：没有层次，无法衡量基础要求之外的质量，可能显得僵化
• 示例：拉取请求检查清单（测试通过了吗？代码已完成 lint 检查吗？文档已更新吗？已进行安全审查吗？）

模式 5：基于标准的评分量规

• 结构：标准与学习目标/能力挂钩，等级表示掌握程度
• 适用场景：教育评估、技能认证、培训评估、标准参照评估
• 优点：与标准一致，能体现掌握进度，具有诊断性
• 缺点：需要明确的标准，设计可能较复杂
• 示例：数据科学技能（以下领域的熟练程度：数据清洗、建模、可视化、沟通 × 新手/胜任/专家）

防护措施

1. 标准应可观察、可衡量：不要写“态度好”（主观），而应写“准时到达、主动承担任务、帮助队友”（可观察）。测试：两位独立评审能否对这项标准给出一致的评分？

2. 描述应清晰区分各个等级：每个等级都需要与相邻等级有具体差异。避免“5＝非常好，4＝好，3＝还行”。更好的例子：“5＝零错误，满足所有要求；4＝有 1-2 个小错误，满足 90% 的要求。”

3. 选择合适的量表粒度：1-3 太粗，1-10 太细。最佳范围：1-4（强制选择，没有中间值）或 1-5（允许中间值）。根据实际可观察到的差异来确定粒度。

4. 兼顾全面性与简洁性：目标是设置 4-8 项标准，涵盖关键质量维度。如果标准超过 10 项，可考虑分组或确定优先级。

5. 校准评审者间信度：让多位评审者为同一份作品评分，并衡量一致性（Kappa、ICC）。如果一致率低于 70%，就完善描述。

6. 为每个等级提供示例：为每个等级提供具体作品示例（锚定论文、参考设计、代码样例），以便校准评审者。

7. 在评估前分享评分标准：如果被评估者只在评分后才看到评分标准，那它就是评分依据，而非指导。应提前分享，让大家了解期望并进行自我评估。

8. 合理设置标准权重：如果“安全性”比“代码风格”更重要，就为其设置更高权重（安全性 ×3，风格 ×1）。也可以使用门槛（安全性评分 >=4 才算通过，不论其他得分）。

常见问题：

• ❌ 主观用语：“付出努力”“有创意”“专业”——如果没有具体描述，就无法观察
• ❌ 标准重叠：“清晰度”和“组织性”经常混为一谈——应明确定义二者的界限
• ❌ 隐藏期望：评分标准中没有提到 X，但评审者会因缺少 X 而扣分——记录所有标准
• ❌ 趋中偏差：评审者回避极端分数（总是给 3/5）——使用偶数等级量表（1-4）来强制选择
• ❌ 晕轮效应：某一项标准的高分会使其他项目的评分偏高——先独立评估每项标准，再查看其他项目
• ❌ 评分标准漂移：描述随时间逐渐失效，评审者产生不同解读——需要定期重新校准

快速参考

关键资源：

• resources/template.md：用途定义、标准构思、量表选择、描述语模板、评分细则格式
• resources/methodology.md：量表设计原则、描述语撰写技巧、评分者间信度测试、偏差缓解
• resources/evaluators/rubric_evaluation_rubrics.json：评分细则设计的质量标准（标准清晰度、量表适用性、描述语具体程度）

量表选择指南：

量表	适用情况	优点	缺点
1-3	需要快速分类，层级清晰	速度快，促使明确决策	粒度太粗，反馈较少
1-4	希望强制选择（没有中间选项）	避免中心倾向，区分清晰	没有中立选项，感觉像二选一
1-5	通用场景，最常见	可选中立项，熟悉度高，粒度适中	中心倾向偏差（所有人都得 3 分）
1-10	需要细致区分，样本量大	区分度最高，便于统计分析	精度虚高，相邻等级难以区分
定性（新手/熟练/专家）	教育、技能发展	直观，注重成长	量化程度较低，难以汇总
二元（是/否、通过/不通过）	合规、把关	客观、简单	无等级区分，无法反映质量差异

标准类型：

• 产品标准：评估产物本身（正确性、清晰度、完整性、美观度、性能）
• 过程标准：评估工作如何完成（是否遵循方法、协作、迭代、时间管理）
• 影响标准：评估结果/效果（用户满意度、业务价值、学习成果）
• 元标准：评估质量本身的质量（文档、可测试性、可维护性、可扩展性）

评分者间信度基准：

• <50% 一致率：评分细则不可靠，需要大幅修订
• 50-70% 一致率：勉强达标，需完善描述语并校准评审者
• 70-85% 一致率：良好，可满足大多数用途
• >85% 一致率：优秀，评分高度可靠

评分细则开发的典型耗时：

• 简单评分细则（3-5 个标准，1-4 量表，熟悉的领域）：2-4 小时
• 标准评分细则（5-7 个标准，1-5 量表，有一定复杂度）：6-10 小时 + 校准会议
• 复杂评分细则（8 个以上标准，多种量表，新领域）：15-25 小时 + 多轮校准

超出评分细则适用范围时的升级方案：

• 高风险决策（招聘、录取、评奖）→ 增加结构化面试、作品集、多方法评估
• 主观/创意作品（艺术、诗歌、设计）→ 在评分细则之外，辅以评议、讨论和专家判断
• 复杂的整体判断（领导力、文化契合度）→ 评分细则有所帮助，但无法涵盖所有方面，应审慎使用 → 评分细则是工具，而非人类判断的替代品。用它来构建思路，而不是将决策机械化。

所需输入：

• 产物类型（要评估什么？论文、代码、设计、提案？）
• 标准（要评估的质量维度，最常见为 4-8 项）
• 量表（默认 1-5，或指定 1-4、1-10、定性标签）

生成的输出：

• evaluation-rubrics.md：用途、标准定义、含描述语的量表、使用说明、权重/阈值、校准说明