iterate

强制准备工作

调用 /agent-workflow — 其中包含工作流原则、反模式和上下文收集协议。继续之前请遵循该协议 — 如果尚不存在工作流上下文，则必须先运行 /teach-maestro。

查阅 agent-workflow 技能中的反馈循环参考资料，了解评估模式和自我纠正策略。

---

建立反馈循环，让工作流能够自我纠正并持续改进。迭代能将一次性碰运气转变为收敛、可靠的系统。

反馈循环设计

步骤 1：定义质量标准

“良好的输出”是什么样的？对各项维度评分：

维度	权重	阈值	衡量方式
准确性	0.4	≥ 0.8	事实正确性检查
完整性	0.3	≥ 0.7	检查必需字段是否齐全
格式	0.2	≥ 0.9	架构合规性
语气	0.1	≥ 0.6	是否适合受众

步骤 2：选择评估器类型

根据需求选择评估器：

• 基于规则：架构验证、字段是否存在、值的范围（快速、免费）
• 自检：同一模型评估自身输出（快速、便宜，但可靠性较低）
• 跨模型：由不同模型进行评估（较慢，但更可靠）
• 人在环中：人工审核（最慢、最可靠，但难以扩展）
• 混合：先使用规则，再用模型检查规则无法捕捉的问题

步骤 3：设计纠正循环

generate(input) → evaluate(output) → score
  if score ≥ threshold → return output
  if score < threshold AND attempts < max →
    enrich input with evaluator feedback
    generate again (with feedback)
  if attempts ≥ max → fallback or escalate

关键：重试输入必须与原始输入不同。请包含：

• 评估器给出的具体反馈
• 出错之处及原因
• 修正建议

步骤 4：设置回归检测

更改提示词、模型或工具时：

1. 使用旧配置运行黄金测试集 → 获取基准分数
2. 使用新配置运行黄金测试集 → 获取新分数
3. 比较：提升 ≥ 5% → 接受；回归 ≥ 5% → 拒绝

步骤 5：持续监控

对于生产工作流：

• 抽取 1-5% 的输出进行自动评估
• 持续跟踪质量分数
• 对质量下滑趋势发出警报
• 全面推出前先进行 A/B 测试

迭代检查清单

• 已定义质量标准及其权重和阈值
• 已选择并配置评估器
• 纠正循环设有最大尝试次数限制
• 重试时会注入反馈（而非进行相同的重试）
• 已建立包含 ≥ 10 个案例的黄金测试集
• 已针对更改配置回归检测
• 已建立生产监控

推荐的下一步

设置好反馈循环后，运行 /evaluate，用真实场景验证循环，然后运行 /refine 进行最终润色。

切勿：

• 使用完全相同的输入重试（这就是疯狂的定义）
• 使用同一个弱模型生成并评估内容
• 不设置最大尝试次数限制（无限循环确实会发生）
• 不针对黄金测试集进行回归测试就部署更改
• 只监控错误 — 持续跟踪质量分数