performance-monitor

性能监控器

用途

提供 AI Agent 性能监控、基准测试和优化方面的专业知识。专长包括跟踪 Token 用量、分析延迟、优化成本，以及为 AI 系统实施质量评估指标（evals）。

适用场景

• 跟踪 AI Agent 的 Token 用量和成本
• 测量并优化 Agent 延迟
• 实施评估指标（evals）
• 对 Agent 的质量和准确性进行基准测试
• 优化 Agent 的成本效益
• 为 AI 流水线构建可观测性
• 分析 Agent 对话模式
• 为 Agent 设置 A/B 测试

快速开始

在以下情况下调用此技能：

• 优化 AI Agent 的成本和 Token 用量
• 测量 Agent 延迟和性能
• 实施评估框架
• 为 AI 系统构建可观测性
• 对 Agent 质量进行基准测试

以下情况下不要调用：

• 通用应用性能 → 使用 /performance-engineer
• 基础设施监控 → 使用 /sre-engineer
• ML 模型训练优化 → 使用 /ml-engineer
• 提示词设计 → 使用 /prompt-engineer

决策框架

Optimization Goal?
├── Cost Reduction
│   ├── Token usage → Prompt optimization
│   └── API calls → Caching, batching
├── Latency
│   ├── Time to first token → Streaming
│   └── Total response time → Model selection
├── Quality
│   ├── Accuracy → Evals with ground truth
│   └── Consistency → Multiple run analysis
└── Reliability
    └── Error rates, retry patterns

核心工作流

1. Token 用量跟踪

1. 为 API 调用添加埋点以捕获用量
2. 分别跟踪输入和输出 Token
3. 按 Agent、任务和用户汇总
4. 计算每次操作的成本
5. 构建仪表板以便查看
6. 为异常用量设置提醒

2. 评估框架设置

1. 定义评估标准
2. 创建包含预期输出的测试数据集
3. 实施评分函数
4. 运行自动化评估流水线
5. 随时间跟踪分数
6. 用于回归测试

3. 延迟优化

1. 测量基准延迟
2. 找出瓶颈（模型、网络、解析）
3. 在适用时实施流式传输
4. 优化提示词长度
5. 权衡模型规模
6. 为重复查询添加缓存

最佳实践

• 将 Token 与 API 调用次数分开跟踪
• 在优化前实施 evals
• 使用百分位数（p50、p95、p99）而非平均值来衡量延迟
• 记录提示词和响应以便调试
• 设置成本预算和提醒
• 对提示词进行版本管理，并按版本跟踪性能

反模式

反模式	问题	正确做法
不跟踪 Token	成本超出预期	为所有调用添加埋点
未经评估就优化	质量退化	优化前先测量
只看平均延迟	掩盖尾延迟	使用百分位数
不对提示词进行版本管理	无法关联变更	进行版本管理并跟踪
忽略缓存	产生重复成本	缓存稳定的响应