sre-dashboards

SRE 仪表板

构建帮助团队检测、分诊和预防可靠性事故的仪表板。

何时使用此技能

在以下情况下使用此技能：

• 为生产系统定义服务级仪表板
• 跟踪 SLO 健康状况和错误预算消耗
• 创建事故指挥中心视图
• 在各团队之间统一仪表板模式

前提条件

• 指标流水线（Prometheus、OpenTelemetry 或供应商提供的同类方案）
• 与服务和环境关联的日志／跟踪
• 已达成一致的服务分类体系（团队、服务、层级、环境）

仪表板架构

按层次组织仪表板：

1. 高管可靠性视图：SLO 达成率、事故数量、MTTR 趋势。
2. 服务健康视图：RED／USE 指标、依赖项健康状况、发布标记。
3. 深入分析视图：按端点统计的延迟、资源饱和度、错误类别。

确保每个视图都能回答问题：

• 客户是否受到影响？
• 发生了什么变化？
• 瓶颈在哪里？

核心 SRE 面板

黄金信号

• 延迟：按端点统计的请求耗时 p50／p95／p99
• 流量：请求吞吐量和队列深度
• 错误：5xx 比率、失败任务、超时比率
• 饱和度：CPU、内存、磁盘 I/O、线程／连接池耗尽情况

SLO 面板

• 当前 SLI 值（滚动时间窗口：5m、1h、24h、30d）
• 剩余错误预算（%）
• 消耗速率面板（快速和缓慢时间窗口）
• 多时间窗口消耗告警状态

变更关联

• 部署标记和配置变更注释
• 功能标志状态叠加层
• 上游／下游依赖项错误率

PromQL 片段示例

# API error rate (%)
100 * sum(rate(http_requests_total{status=~"5.."}[5m]))
  / sum(rate(http_requests_total[5m]))

# p95 latency by route
histogram_quantile(0.95,
  sum by (le, route) (rate(http_request_duration_seconds_bucket[5m]))
)

# Fast burn rate (5m / 1h)
(
  sum(rate(http_requests_total{status=~"5.."}[5m]))
  / sum(rate(http_requests_total[5m]))
)
/
(
  sum(rate(http_requests_total{status=~"5.."}[1h]))
  / sum(rate(http_requests_total[1h]))
)

运维指南

• 使用一致的颜色语义（绿色=健康、黄色=性能下降、红色=违约）
• 明确标注单位（ms、req/s、%、核）
• 将默认时间窗口设为适合事故排查的范围（15m、1h、6h、24h）
• 尽量减少每个仪表板的面板数量，以降低认知负担
• 直接在面板说明中添加运行手册链接

故障排查

面板显示为平线或空白

• 检查标签基数和筛选器（service、env、region）
• 确认抓取／摄取延迟在预期范围内
• 检查更新埋点后是否出现指标重命名回归

高基数导致仪表板变慢

• 按稳定维度（service、route_group）聚合，而不是使用原始 ID
• 对开销较大的百分位数和比率查询使用记录规则
• 将深入分析仪表板与 NOC 摘要仪表板拆分

相关技能

• prometheus-grafana - 仪表板实现和 PromQL
• opentelemetry - 标准化遥测埋点
• alerting-oncall - 可靠性告警路由和升级
• agent-observability - AI 工作负载可靠性遥测