failure-recovery

故障恢复

Agent 会失败。网络会超时，模型会产生幻觉，工具会出错，边缘情况也会带来意外。故障恢复设计决定了失败是死路一条，还是能平稳绕行。

多 Agent 系统中的故障类型

• Agent 故障：单个 Agent 崩溃、超时或输出无效内容
• 交接故障：在 Agent 之间传递时，上下文丢失或损坏
• 协调故障：Agent 发生冲突、陷入死锁或产生不一致的结果
• 资源故障：外部工具、API 或数据源不可用
• 级联故障：一个 Agent 的故障导致下游 Agent 发生故障

恢复策略

• 重试：再次尝试相同的操作。适用于暂时性错误（网络超时、速率限制）。设置重试次数上限，避免无限循环。
• 回退：切换到其他方法，例如使用不同的 Agent、更简单的方法或缓存结果。
• 升级处理：将问题交给能力更强的 Agent 或人工处理。当问题超出当前 Agent 的解决能力时使用。
• 优雅降级：提供部分结果，而非一无所获。告知用户哪些内容已成功，哪些没有。
• 补偿：在重试或升级处理之前，撤销部分完成的工作流所产生的影响。

设计恢复路径

对于工作流中每个可能发生故障的环节：

• 可能发生什么故障？ 列出故障模式
• 首选恢复策略是什么？ 暂时性错误通常先重试
• 回退方案是什么？ 重试失败时，有什么替代方案？
• 何时升级处理？ 重试多少次后，或遇到哪类故障时升级？
• 用户会看到什么？ 是否透明地告知故障，还是静默恢复？
• 最坏情况是什么？ 如果所有恢复方案都失败，如何优雅降级？

故障的用户体验

• 无感恢复：系统自动重试或回退，用户不会察觉。最适用于轻微且能快速解决的故障。
• 透明恢复：系统告知用户发生了问题，以及正在如何处理。“这次耗时比平时更长——正在尝试其他方法。”
• 协同恢复：系统请求用户协助。“我无法访问您的日历。能检查一下连接吗？”
• 如实说明故障：系统告知用户无法完成任务，并解释原因，同时提供替代方案。

设计产物

• 每个 Agent 和每次交接的故障模式清单
• 恢复策略规范（重试次数上限、回退路径、升级触发条件）
• 级联故障分析
• 各故障场景的用户体验规范
• 恢复测试规程