observability-design

可观测性设计

看不到，就无法改进。可观测性设计让多 Agent 系统的内部运作变得清晰可见，帮助设计师理解用户体验问题、开发者调试故障，并让团队持续改进系统。

让哪些内容可观测

• 工作流执行：涉及了哪些 Agent、顺序如何、结果是什么
• 决策点：做出了哪些决策、考虑过哪些备选方案、为何选择其中一个
• 交接详情：Agent 之间传递了哪些上下文，是否有信息丢失
• 耗时：每个 Agent 耗时多久、瓶颈出现在哪里
• 故障：发生了什么故障、如何恢复、用户体验如何
• 质量信号：输出质量评分、用户满意度信号、任务成功标记

面向不同受众的可观测性

面向设计师：

• 用户旅程视图：用户在整个工作流中经历了什么？
• 痛点识别：用户在哪里遇到困难、放弃操作或表达不满？
• 质量模式：哪些输出质量高或低，原因是什么？ 面向开发者：
• 执行跟踪：逐步记录 Agent 的操作
• 错误日志：发生了什么故障，故障在哪里
• 性能指标：延迟、吞吐量、资源使用情况 面向产品经理：
• 使用模式：哪些工作流使用最多，哪些被放弃
• 成功指标：任务完成率、用户满意度趋势
• 成本分析：每个工作流的资源消耗 面向用户（可选）：
• 进度指示器：系统当前处于工作流的哪个环节？
• Agent 透明度：哪个 Agent 正在处理他们的请求？
• 审计跟踪：系统代表用户执行了哪些操作

设计可观测性界面

• 仪表板：实时和历史系统健康状况与性能视图
• 跟踪查看器：单次工作流执行的详细分步视图
• 告警系统：指标超过阈值时发送通知
• 搜索和筛选：能够按条件查找特定执行记录
• 比较工具：比较不同时间段、版本或群组的性能

避免可观测性信息过载

数据太多和数据太少一样糟糕：

• 分层展示详情：先显示高级摘要，按需深入查看
• 智能默认设置：优先显示最重要的信息
• 异常突出显示：自动呈现异常模式
• 上下文视图：针对不同问题提供不同视图

设计产物

• 可观测性架构图
• 面向各类受众的仪表板规范
• 跟踪架构定义
• 告警阈值配置
• 可观测性工具需求