monitoring-guidelines

监控指南

应用这些监控原则，确保系统可靠性、性能可见性，并主动发现问题。

监控核心原则

• 监控四大黄金信号：延迟、流量、错误和饱和度
• 将监控作为代码实现，以确保可复现性
• 围绕用户体验和业务影响设计监控
• 使用 SLO（服务级别目标）指导告警决策
• 在全面覆盖与可采取行动的洞察之间取得平衡

需要监控的关键指标

应用指标

• 请求速率（每秒请求数）
• 错误率（失败请求的百分比）
• 响应时间（p50、p90、p95、p99 延迟）
• 活跃连接数和并发用户数
• 队列深度和处理时间

基础设施指标

• CPU 使用率和平均负载
• 内存使用量和可用内存
• 磁盘 I/O 和可用存储空间
• 网络吞吐量和错误率
• 容器和 Pod 健康状况（适用于 Kubernetes）

业务指标

• 交易量和交易金额
• 用户注册数和转化数
• 功能使用率和采用率
• 影响收入的事件
• 客户满意度指标

告警策略

告警设计原则

• 针对症状而非原因发出告警
• 确保告警可采取行动，并提供明确的补救步骤
• 设置适当的严重级别（严重、警告、信息）
• 通过合理调整阈值避免告警疲劳
• 在告警通知中加入运行手册链接

基于 SLO 的告警

• 为关键用户旅程定义 SLO
• 计算错误预算和消耗速率
• 错误预算消耗过高时发出告警
• 使用多窗口、多消耗速率告警
• 每季度审查并调整 SLO

告警配置

• 根据基线数据设置有意义的阈值
• 使用滞回机制防止告警抖动
• 实施告警依赖关系以减少噪声
• 将告警路由至相应团队
• 配置升级策略

仪表板设计

有效的仪表板

• 创建服务健康状况概览仪表板
• 构建用于调试的详细仪表板
• 使用一致的布局和命名规范
• 包含时间范围选择器和下钻功能
• 突出显示 SLO 状态

仪表板内容

• 显示当前状态和近期趋势
• 与基线或之前的时间段进行比较
• 显示部署标记以便关联分析
• 为重要事件添加注释
• 添加相关仪表板和日志的链接

监控工具集成

数据采集

• 使用 Agent 或 Sidecar 采集指标
• 在动态环境中实现服务发现
• 配置适当的抓取间隔
• 根据使用场景选择推送或拉取
• 确保指标基数可控

数据存储与保留

• 根据使用场景设置保留期限
• 对长期存储的数据进行降采样
• 根据规模选择适当的存储后端
• 制定监控数据的灾难恢复计划
• 监控你的监控基础设施

健康检查与探针

• 实施存活探针以检测崩溃
• 使用就绪探针管理流量
• 创建可验证依赖项的深度健康检查
• 以标准格式提供健康检查端点
• 将健康检查延迟作为指标进行监控

事件响应

• 使用监控数据及早发现事件
• 调查期间关联分析指标、日志和追踪数据
• 记录调查结果，并在事件发生后更新监控
• 跟踪 MTTR（平均恢复时间）指标
• 定期开展监控审查和改进

容量规划

• 跟踪资源利用率趋势
• 为接近容量上限的情况设置告警
• 使用预测进行主动扩容
• 记录容量需求和预留余量
• 每季度审查容量