evaluation-framework

评估框架

概述

一个用于加权评分和基于阈值做出决策的通用框架。提供可复用的模式，用一致的评分方法，根据可配置的标准评估任意对象。

此框架提炼了常见流程：定义标准 → 分配权重 → 按标准评分 → 应用阈值 → 做出决策。

适用场景

• 实施质量门禁或评估标准
• 为对象、提案或提交内容构建评分系统
• 需要在不同领域采用一致的评估方法
• 希望基于阈值自动做出决策
• 创建采用加权标准的评估工具

不适用场景

• 无需评分的简单通过／失败判断

核心模式

1. 定义标准

criteria:
  - name: criterion_name
    weight: 0.30          # 30% of total score
    description: What this measures
    scoring_guide:
      90-100: Exceptional
      70-89: Strong
      50-69: Acceptable
      30-49: Weak
      0-29: Poor

验证： 使用 --help 标志运行命令，以确认其可用。

2. 为每项标准评分

scores = {
    "criterion_1": 85,  # Out of 100
    "criterion_2": 92,
    "criterion_3": 78,
}

验证： 使用 --help 标志运行命令，以确认其可用。

3. 计算加权总分

total = sum(score * weights[criterion] for criterion, score in scores.items())
# Example: (85 × 0.30) + (92 × 0.40) + (78 × 0.30) = 85.5

验证： 使用 --help 标志运行命令，以确认其可用。

4. 应用决策阈值

thresholds:
  80-100: Accept with priority
  60-79: Accept with conditions
  40-59: Review required
  20-39: Reject with feedback
  0-19: Reject

用于决定是否通过的分数会成为优化目标。随着工作量增加，Agent 的输出会偏离可见的代理指标，而标准的可维护性指标难以解释 Agent 编写的代码为何更难扩展（docs/knowledge-corpus/decoherence.md）。每个用于门禁的分数都应配套一项不包含在该分数中的检查：保留测试集、使用真实输入运行，或由评审者阅读输出。 验证： 使用 --help 标志运行命令，以确认其可用。

快速入门

定义评估方案

1. 确定标准：你的领域中哪些方面很重要？
2. 分配权重：哪些标准最重要？（总和为 1.0）
3. 创建评分指南：每个分数范围代表什么？
4. 设置阈值：哪些总分会触发哪些决策？

示例：代码评审评估

criteria:
  correctness: {weight: 0.40, description: Does code work as intended?}
  maintainability: {weight: 0.25, description: Is it readable?}
  performance: {weight: 0.20, description: Meets performance needs?}
  testing: {weight: 0.15, description: Tests detailed?}

thresholds:
  85-100: Approve immediately
  70-84: Approve with minor feedback
  50-69: Request changes
  0-49: Reject, major issues

验证： 运行 pytest -v，以确认测试通过。

评估工作流

**Verification:** Run the command with `--help` flag to verify availability.
1. Review artifact against each criterion
2. Assign 0-100 score for each criterion
3. Calculate: total = Σ(score × weight)
4. Compare total to thresholds
5. Take action based on threshold range

验证： 使用 --help 标志运行命令，以确认其可用。

常见用例

质量门禁：代码评审、PR 批准、发布就绪度 内容评估：文档质量、知识接收、技能评估 资源分配：待办事项优先级排序、投资决策、分诊

集成模式

# In your skill's frontmatter
dependencies: [leyline:evaluation-framework]

验证： 使用 --help 标志运行命令，以确认其可用。

然后根据你的领域自定义框架：

• 定义领域专属标准
• 根据具体情况设置合适的权重
• 制定有意义的阈值
• 记录每个分数范围的含义

详细资源

• 评分模式：详细方法请参阅 modules/scoring-patterns.md
• 决策阈值：阈值设计请参阅 modules/decision-thresholds.md

退出标准

• 已定义标准并提供清晰说明
• 已分配权重，且总和为 1.0
• 已记录每项标准的评分指南
• 已将阈值对应到具体操作
• 每个用于门禁的分数都注明了分数之外的检查项
• 已记录评估流程，并且可复现