evals-specify

evals-specify

此技能的功能

遵循 EDD 原则 III 和 IX（错误分析与测试数据即代码），开展自下而上的错误分析，通过观察系统故障来发现并记录初步评估标准。

输出：

1. 初步评估记录——.adlc/drafts/evals/ 中的独立 EVAL-*.md 文件，包含开放编码笔记
2. 错误模式文档——根据实际轨迹自下而上的故障分类体系
3. 通过／失败示例——每项标准对应的真实通过／失败示例
4. 自动移交至 /evals-clarify，进行主轴编码和聚类

应用的 EDD 关键原则：

• 原则 III：错误分析与模式发现——开放编码 → 故障分类体系
• 原则 IX：测试数据即代码——数据集规划与覆盖率分析
• 原则 II：二元通过／失败——维持严格的二元通过／失败条件
• 原则 V：轨迹可观测性——跟踪完整的多轮对话轨迹

适用场景

注意：日常决策记录由 team-boot 的持续记录机制处理，该机制会将简要草稿直接写入 .adlc/drafts/。此技能用于交互式深度探索——当你需要在记录之前进行引导式权衡分析、多方案比较或结构化决策辅助时使用。

• 开始开发评估：尚无现成标准，需要从故障日志中发现标准
• 生产事故分析：近期故障需要进行系统分析
• 质量评估：从故障中发现并编纂边界条件

不适用场景

• 没有故障轨迹／规范：先生成合成轨迹，或使用 /evals-init 设置安全基线
• 已有已知标准：使用 /evals-clarify 进行完善，或使用 /evals-implement 生成代码

流程

用户输入

$ARGUMENTS

将用户输入视为要分析的具体故障领域或错误模式（例如：“身份验证绕过”“RAG 返回无关结果”）。

• --traces N — 要分析的轨迹数量（默认：20，理论饱和度所需的最小值）
• --source SOURCE — 轨迹来源位置（例如：日志、支持工单）

执行步骤

阶段 1：开放编码分析

• 检查用户提供的故障日志或规范要求。
• 对轨迹进行开放编码，以发现反复出现的故障模式（EDD 原则 III）。
• 识别：核心问题、因果条件和后果。

阶段 2：创建初步标准

将模式归类为初步标准。对每项标准：

• 定义严格的通过条件（可观察、二元是／否）
• 定义严格的失败条件（可观察、二元是／否）
• 直接从轨迹中记录真实的通过／失败示例

阶段 3：创建草稿文件

• 将 skills/evals/evals-templates/eval-criterion-template.md 复制到 .adlc/drafts/evals/EVAL-{NNN}.md。
• 填写元数据和错误分析笔记。
• 在 .adlc/drafts/evals/evals.md 重新生成索引。

阶段 4：自动移交

触发 /evals-clarify，进行主轴编码和聚类。

验证

• 已在 .adlc/drafts/evals/EVAL-*.md 创建草稿文件
• 索引文件 .adlc/drafts/evals/evals.md 已更新，并包含草稿摘要
• 每份草稿均包含：状态“draft”、通过／失败条件、轨迹来源和具体示例
• 已生成包含所创建草稿列表的自动移交上下文