alert-management

アラート管理

目次

• 概要
• 使用する場面
• クイックスタート
• リファレンスガイド
• ベストプラクティス

概要

PagerDuty との連携、エスカレーションポリシー、アラートルーティング、インシデント調整を備えた高度なアラート管理システムを設計、実装します。

使用する場面

• アラートルーティングの設定
• オンコールスケジュールの管理
• インシデント対応の調整
• エスカレーションポリシーの作成
• アラートシステムの連携

クイックスタート

最小限の動作例：

// pagerduty-client.js
const axios = require("axios");

class PagerDutyClient {
  constructor(apiToken) {
    this.apiToken = apiToken;
    this.baseUrl = "https://api.pagerduty.com";
    this.eventUrl = "https://events.pagerduty.com/v2/enqueue";

    this.client = axios.create({
      baseURL: this.baseUrl,
      headers: {
        Authorization: `Token token=${apiToken}`,
        Accept: "application/vnd.pagerduty+json;version=2",
      },
    });
  }

  async triggerEvent(config) {
    const event = {
      routing_key: config.routingKey,
      event_action: config.eventAction || "trigger",
      dedup_key: config.dedupKey || `event-${Date.now()}`,
      payload: {
        summary: config.summary,
// ... (see reference guides for full implementation)

リファレンスガイド

詳細な実装については、references/ ディレクトリを参照してください：

ガイド	内容
PagerDuty クライアント連携	PagerDuty クライアント連携
Alertmanager の設定	Alertmanager の設定
アラートハンドラーミドルウェア	アラートハンドラーミドルウェア
アラートルーティングエンジン	アラートルーティングエンジン
Docker Compose アラートスタック	Docker Compose アラートスタック

ベストプラクティス

✅ DO

• 適切なしきい値を設定します
• アラートの重複排除を実装します
• 明確なアラート名を使用します
• ランブックへのリンクを含めます
• エスカレーションを適切に設定します
• アラートルールをテストします
• アラートの品質を監視します
• 繰り返し間隔を設定します
• アラートのメトリクスを追跡します
• アラートの意味を文書化します

❌ DON'T

• あらゆる異常に対してアラートを出しません
• アラート疲れを無視しません
• しきい値を根拠なく設定しません
• ランブックを省略しません
• 対応策のないアラートを出しません
• 本番環境でアラートを無効にしません
• 曖昧なアラート名を使用しません
• エスカレーションポリシーを忘れません
• 頻繁にアラートを再通知しません