datadog-observability

Datadog 可观测性

概述

Datadog 是一个 SaaS 可观测性平台，可统一监控基础设施、应用程序、日志和用户体验。它提供 AI 驱动的异常检测、1000 多种集成，以及对 OpenTelemetry 的兼容性。

核心能力：

• APM：分布式追踪，支持对 8 种以上语言进行自动插桩
• 基础设施：主机、容器和云服务监控
• 日志：集中收集，支持处理流水线和 15 个月的保留期
• 指标：通过 DogStatsD 上报自定义指标，并管理基数
• 合成监控：从 29 个以上的全球地点主动进行 API 和浏览器测试
• RUM：前端性能监控，支持 Core Web Vitals 和会话回放

何时使用此技能

适用于：

• 设置生产环境监控和可观测性
• 在微服务之间实现分布式追踪
• 配置日志聚合和分析流水线
• 创建自定义指标和仪表板
• 设置告警和异常检测
• 优化 Datadog 成本

不适用于：

• 使用开源技术栈构建（改用 Prometheus/Grafana）
• 成本是首要考虑因素且预算有限
• 需要比托管解决方案更高的自定义能力

快速开始

1. 安装 Datadog Agent

Docker（最简单）：

docker run -d --name dd-agent \
  -e DD_API_KEY=<YOUR_API_KEY> \
  -e DD_SITE="datadoghq.com" \
  -v /var/run/docker.sock:/var/run/docker.sock:ro \
  -v /proc/:/host/proc/:ro \
  -v /sys/fs/cgroup/:/host/sys/fs/cgroup:ro \
  gcr.io/datadoghq/agent:7

Kubernetes（Helm）：

helm repo add datadog https://helm.datadoghq.com
helm install datadog-agent datadog/datadog \
  --set datadog.apiKey=<YOUR_API_KEY> \
  --set datadog.apm.enabled=true \
  --set datadog.logs.enabled=true

2. 为应用程序添加插桩

Python：

from ddtrace import tracer, patch_all

# Automatic instrumentation for common libraries
patch_all()

# Manual span for custom operations
with tracer.trace("custom.operation", service="my-service") as span:
    span.set_tag("user.id", user_id)
    # your code here

Node.js：

// Must be first import
const tracer = require('dd-trace').init({
  service: 'my-service',
  env: 'production',
  version: '1.0.0',
});

3. 在 Datadog UI 中验证

1. 前往 Infrastructure > Host Map，验证 Agent
2. 前往 APM > Services，查看被追踪的服务
3. 前往 Logs > Search，验证日志收集

核心概念

标签策略

标签可用于筛选、聚合和成本归属。所有遥测数据都应使用一致的标签。

必需标签：

标签	用途	示例
env	环境	env:production
service	服务名称	service:api-gateway
version	部署版本	version:1.2.3
team	负责团队	team:platform

避免使用高基数标签：

• 用户 ID、请求 ID、时间戳
• Kubernetes 中的 Pod ID
• 构建编号、提交哈希

统一可观测性

Datadog 会自动关联指标、追踪和日志：

• 追踪包含可关联指标的 span 标签
• 日志会注入追踪 ID 以便关联
• 仪表板可整合所有数据源

最佳实践

从简单开始

1. 使用基本配置安装 Agent
2. 启用自动插桩
3. 在 Datadog UI 中验证数据
4. 根据需要添加自定义 span/指标

逐步增强

Basic → APM tracing → Custom spans → Custom metrics → Profiling → RUM

关键插桩点

• HTTP 请求入口/出口
• 数据库查询
• 外部服务调用
• 消息队列操作
• 业务关键流程

常见错误

1. 高基数标签：将用户 ID 或请求 ID 用作标签，会产生数百万个唯一指标
2. 未设置日志索引配额：日志量激增时会导致意外账单
3. 告警过多：会造成告警疲劳；应针对症状而非原因设置告警
4. 缺少服务标签：会阻碍指标、追踪和日志之间的关联
5. 高流量追踪未采样：摄取所有数据，导致成本激增

导航

详细实现指南：

• Agent 安装：Docker、Kubernetes、Linux、Windows 和云平台特定设置
• APM 插桩：Python、Node.js、Go、Java 插桩及代码示例
• 日志管理：流水线、Grok 解析、标准属性、归档
• 自定义指标：DogStatsD 模式、指标类型、标签最佳实践
• 告警：监控器类型、异常检测、告警规范
• 成本优化：Metrics without Limits、采样、索引配额
• Kubernetes：DaemonSet、Cluster Agent、自动发现

互补技能

使用此技能时，请考虑以下相关技能（如已部署）：

• docker：容器检测模式
• kubernetes：K8s 原生监控模式
• python/nodejs/go：特定语言的 APM 配置

资源

官方文档：

• APM：https://docs.datadoghq.com/tracing/
• 日志：https://docs.datadoghq.com/logs/
• 指标：https://docs.datadoghq.com/metrics/
• DogStatsD：https://docs.datadoghq.com/developers/dogstatsd/

成本管理：

• 账单：https://docs.datadoghq.com/account_management/billing/
• 用量归因：https://docs.datadoghq.com/account_management/billing/usage_attribution/