关于 output-quality-rubrics
Output Quality Rubrics 是一项技能，用于将主观的输出评审转化为一致、可衡量的评价。它涵盖质量维度、评分尺度、权重设置和评审校准，适合评估 AI 输出的团队。
主要功能
- 01定义可衡量的质量维度
- 02制定带示例的评分尺度
- 03按使用场景设置权重
- 04校准评审者并衡量一致性
- 05准备评分模板和检查清单
适用场景
- 01评估 AI 生成的回答
- 02统一评审者的评分标准
- 03比较不同场景下的输出质量
安装
复制下面的命令，在终端中运行。
$
npx skills add https:/安装后在 Claude Code 中输入/output-quality-rubrics确认已加载。
详细介绍
输出质量评分标准
没有评分标准，质量评估就会主观且不一致。评分标准以具体、可衡量的方式定义什么是“好”——让不同评估者得出相同的结论。
核心质量维度
- 准确性：信息是否正确？观点是否可验证？是否存在幻觉？
- 相关性：输出是否回应了用户的实际请求？所有内容是否都是必要的？
- 完整性：输出是否涵盖了所有必要内容？是否存在遗漏？
- 实用性：用户能否实际利用这份输出实现目标？
- 清晰度：内容是否易于理解？结构是否合理？
- 语气适切性：输出是否符合当前语境所需的语气？
- 安全性：输出是否不含有害、偏见或不恰当的内容？
制定评分标准
为每个维度定义一个等级： 示例 — 准确性（1-5）：
- 5：所有观点均可验证且正确。没有幻觉。
- 4：存在轻微错误，但不影响实用性。没有幻觉。
- 3：存在一些可能误导用户的错误，但没有危险的幻觉。
- 2：存在重大错误。用户需要核实大部分观点。
- 1：存在重大幻觉，或自信地陈述事实错误。
维度权重
不同用例对各维度的重视程度不同：
- 医疗 AI 最重视准确性和安全性
- 创意写作 AI 最重视实用性和语气
- 编码 AI 最重视准确性和完整性
- 客户服务 AI 最重视语气和实用性 制定评分标准时应设置权重，并明确优先级。
评分标准校准
只有评估者使用一致，评分标准才有用：
- 锚点示例：为每个分数等级提供输出示例
- 校准会议：让多位评估者为相同的输出打分，并讨论分歧
- 评估者间一致性：衡量评估者之间的一致程度，并不断完善评分标准，直到一致性较高
- 边界情况指南：记录如何为模糊情况打分
设计产物
- 含维度定义和评分等级的评分标准
- 每个分数等级的锚点示例
- 各用例的维度权重规范
- 校准会议流程
- 评分模板和检查清单
评论
支持 Markdown