evaluate

强制准备工作

调用 /agent-workflow — 其中包含工作流原则、反模式和上下文收集协议。继续之前，请遵循该协议 — 如果尚无工作流上下文，必须先运行 /teach-maestro。 查阅 agent-workflow 技能中的反馈循环参考，了解评估模式、黄金测试集和回归检测。

---

通过针对代表真实使用情况的场景进行测试，评估工作流的实际交互质量。

评估维度

1. 任务完成情况

• 工作流是否真正完成了预期任务？
• 它能否处理完整任务，还是只能处理理想情况？
• 是否处理了边缘情况，还是悄然忽略了它们？

2. 输出质量

• 输出是否准确、完整且格式良好？
• 是否符合定义的输出架构（如有）？
• 领域专家是否会认可该输出？

3. 错误处理

• 输入格式错误时会发生什么？
• 工具失败时会发生什么？
• 模型不确定时会发生什么？
• 错误消息是有用的还是泛泛而谈？

4. 用户体验

• 交互是否自然、直观？
• 对于破坏性操作，是否会请求确认？
• 响应时间是否可以接受？
• 工作流是否说明了自身的局限性？

5. 一致性

• 相同输入是否能产生质量一致的输出？
• 是否存在无法复现的随机故障？
• 长时间对话中，质量是否会下降？

场景测试

创建并运行测试场景：

场景	输入	预期结果	实际结果	评级
理想情况	常规输入	正确输出	？	A-F
边缘情况	非常规输入	妥善处理	？	A-F
错误情况	错误输入	有帮助的错误提示	？	A-F
压力情况	大型／复杂输入	合理处理	？	A-F
对抗性情况	棘手／恶意输入	安全响应	？	A-F

评估报告

生成一份结构化报告，包含：

1. 总体质量评级（A-F）
2. 各维度评分及证据
3. 具体场景的测试结果
4. 优先改进项及建议的 Maestro 命令

评估清单

• 使用具体场景测试全部 5 个维度
• 至少测试一个边缘情况和一个对抗性情况
• 在场景表中记录结果
• 给出总体评级及理由
• 改进措施引用具体的 Maestro 命令

建议的下一步

评估后，运行 /fortify 以弥补错误处理方面的不足，运行 /refine 以提升输出质量，或运行 /iterate 以建立持续质量监控。

切勿：

• 仅从理论上评估 — 实际运行场景
• 除非工作流能妥善处理所有类型的场景，否则不要给出 A 级
• 面向用户的工作流不得跳过对抗性测试
• 只评估理想情况