monitoring-guidelines

モニタリングのガイドライン

以下のモニタリングの原則を適用し、システムの信頼性、パフォーマンスの可視性、問題のプロアクティブな検出を確保します。

モニタリングの基本原則

• 4 つのゴールデンシグナル（レイテンシ、トラフィック、エラー、飽和度）をモニタリングします
• 再現性を確保するため、モニタリングをコードとして実装します
• ユーザーエクスペリエンスとビジネスへの影響を軸にモニタリングを設計します
• アラートの判断基準として SLO（サービスレベル目標）を使用します
• 包括的なカバレッジと実用的なインサイトのバランスを取ります

モニタリングする主なメトリクス

アプリケーションのメトリクス

• リクエストレート（1 秒あたりのリクエスト数）
• エラーレート（失敗したリクエストの割合）
• 応答時間（p50、p90、p95、p99 のレイテンシ）
• アクティブな接続数と同時接続ユーザー数
• キューの深さと処理時間

インフラストラクチャのメトリクス

• CPU 使用率とロードアベレージ
• メモリ使用量と空きメモリ
• ディスク I/O と利用可能なストレージ
• ネットワークスループットとエラーレート
• コンテナと Pod の健全性（Kubernetes の場合）

ビジネスのメトリクス

• トランザクションの量と金額
• ユーザー登録数とコンバージョン数
• 機能の使用率と採用率
• 収益に影響するイベント
• 顧客満足度を示す指標

アラート戦略

アラート設計の原則

• 原因ではなく症状に対してアラートを出します
• 明確な修正手順を示し、アラートを実行可能なものにします
• 適切な重大度（クリティカル、警告、情報）を設定します
• しきい値を適切に調整し、アラート疲れを防ぎます
• アラート通知にランブックへのリンクを含めます

SLO ベースのアラート

• 重要なユーザージャーニーの SLO を定義します
• エラーバジェットとバーンレートを計算します
• エラーバジェットの消費が多い場合にアラートを出します
• 複数のウィンドウとバーンレートを用いたアラートを使用します
• 四半期ごとに SLO を見直し、調整します

アラートの設定

• ベースラインデータに基づいて有意義なしきい値を設定します
• ヒステリシスを使用して、アラートの頻繁な切り替わりを防ぎます
• アラートの依存関係を実装してノイズを減らします
• 適切なチームにアラートをルーティングします
• エスカレーションポリシーを設定します

ダッシュボードの設計

効果的なダッシュボード

• サービスの健全性を把握するための概要ダッシュボードを作成します
• デバッグ用の詳細なダッシュボードを作成します
• 一貫したレイアウトと命名規則を使用します
• 時間範囲の選択機能と詳細表示機能を含めます
• SLO の状態を目立つように表示します

ダッシュボードの内容

• 現在の状態と最近の傾向を表示します
• ベースラインまたは過去の期間との比較を含めます
• 相関関係を確認できるよう、デプロイのマーカーを表示します
• 重要なイベントの注釈を追加します
• 関連するダッシュボードとログへのリンクを含めます

モニタリングツールの統合

データ収集

• メトリクスの収集にエージェントまたはサイドカーを使用します
• 動的な環境向けにサービスディスカバリーを実装します
• 適切なスクレイプ間隔を設定します
• ユースケースに応じてプッシュ方式またはプル方式を使用します
• メトリクスのカーディナリティを管理可能な範囲に保ちます

データの保存と保持

• ユースケースに応じて保持期間を設定します
• 長期保存にはダウンサンプリングを実装します
• 規模に適したストレージバックエンドを使用します
• モニタリングデータの災害復旧を計画します
• モニタリングインフラストラクチャ自体もモニタリングします

ヘルスチェックとプローブ

• クラッシュ検出用のライブネスプローブを実装します
• トラフィック管理にはレディネスプローブを使用します
• 依存関係を検証する詳細なヘルスチェックを作成します
• 標準的な形式でヘルスエンドポイントを公開します
• ヘルスチェックのレイテンシをメトリクスとしてモニタリングします

インシデント対応

• モニタリングデータを使用してインシデントを早期に検出します
• 調査中にメトリクス、ログ、トレースを相関付けます
• インシデント後に調査結果を文書化し、モニタリングを更新します
• MTTR（平均復旧時間）のメトリクスを追跡します
• 定期的にモニタリングを見直し、改善します

キャパシティプランニング

• リソース使用率の傾向を追跡します
• 容量上限に近づいた場合のアラートを設定します
• プロアクティブなスケーリングに予測を活用します
• 容量要件と余裕分を文書化します
• 四半期ごとに容量を見直します