slo-implementation

SLO の実装

サービスレベル指標（SLI）、サービスレベル目標（SLO）、エラーバジェットを定義して実装するためのフレームワークです。

目的

SLI、SLO、エラーバジェットを使用して測定可能な信頼性目標を実装し、信頼性とイノベーションの速度のバランスを取ります。

使用する場面

• サービスの信頼性目標を定義する
• ユーザーが感じる信頼性を測定する
• エラーバジェットを実装する
• SLO ベースのアラートを作成する
• 信頼性目標を追跡する

SLI／SLO／SLA の階層

SLA (Service Level Agreement)
  ↓ Contract with customers
SLO (Service Level Objective)
  ↓ Internal reliability target
SLI (Service Level Indicator)
  ↓ Actual measurement

SLI の定義

一般的な SLI の種類

1. 可用性 SLI

# Successful requests / Total requests
sum(rate(http_requests_total{status!~"5.."}[28d]))
/
sum(rate(http_requests_total[28d]))

2. レイテンシ SLI

# Requests below latency threshold / Total requests
sum(rate(http_request_duration_seconds_bucket{le="0.5"}[28d]))
/
sum(rate(http_request_duration_seconds_count[28d]))

3. 耐久性 SLI

# Successful writes / Total writes
sum(storage_writes_successful_total)
/
sum(storage_writes_total)

参考： references/slo-definitions.md を参照してください。

SLO 目標の設定

可用性 SLO の例

SLO %	ダウンタイム／月	ダウンタイム／年
99%	7.2 時間	3.65 日
99.9%	43.2 分	8.76 時間
99.95%	21.6 分	4.38 時間
99.99%	4.32 分	52.56 分

適切な SLO を選択する

考慮事項：

• ユーザーの期待
• ビジネス要件
• 現在のパフォーマンス
• 信頼性にかかるコスト
• 競合他社のベンチマーク

SLO の例：

slos:
  - name: api_availability
    target: 99.9
    window: 28d
    sli: |
      sum(rate(http_requests_total{status!~"5.."}[28d]))
      /
      sum(rate(http_requests_total[28d]))

  - name: api_latency_p95
    target: 99
    window: 28d
    sli: |
      sum(rate(http_request_duration_seconds_bucket{le="0.5"}[28d]))
      /
      sum(rate(http_request_duration_seconds_count[28d]))

エラーバジェットの計算

エラーバジェットの計算式

Error Budget = 1 - SLO Target

例：

• SLO：可用性 99.9%
• エラーバジェット：0.1% = 43.2 分／月
• 現在のエラー：0.05% = 21.6 分／月
• 残りのバジェット：50%

エラーバジェットポリシー

error_budget_policy:
  - remaining_budget: 100%
    action: Normal development velocity
  - remaining_budget: 50%
    action: Consider postponing risky changes
  - remaining_budget: 10%
    action: Freeze non-critical changes
  - remaining_budget: 0%
    action: Feature freeze, focus on reliability

参考： references/error-budget.md を参照してください。

SLO の実装

Prometheus の記録ルール

# SLI Recording Rules
groups:
  - name: sli_rules
    interval: 30s
    rules:
      # Availability SLI
      - record: sli:http_availability:ratio
        expr: |
          sum(rate(http_requests_total{status!~"5.."}[28d]))
          /
          sum(rate(http_requests_total[28d]))

      # Latency SLI (requests < 500ms)
      - record: sli:http_latency:ratio
        expr: |
          sum(rate(http_request_duration_seconds_bucket{le="0.5"}[28d]))
          /
          sum(rate(http_request_duration_seconds_count[28d]))

  - name: slo_rules
    interval: 5m
    rules:
      # SLO compliance (1 = meeting SLO, 0 = violating)
      - record: slo:http_availability:compliance
        expr: sli:http_availability:ratio >= bool 0.999

      - record: slo:http_latency:compliance
        expr: sli:http_latency:ratio >= bool 0.99

      # Error budget remaining (percentage)
      - record: slo:http_availability:error_budget_remaining
        expr: |
          (sli:http_availability:ratio - 0.999) / (1 - 0.999) * 100

      # Error budget burn rate
      - record: slo:http_availability:burn_rate_5m
        expr: |
          (1 - (
            sum(rate(http_requests_total{status!~"5.."}[5m]))
            /
            sum(rate(http_requests_total[5m]))
          )) / (1 - 0.999)

SLO アラートルール

groups:
  - name: slo_alerts
    interval: 1m
    rules:
      # Fast burn: 14.4x rate, 1 hour window
      # Consumes 2% error budget in 1 hour
      - alert: SLOErrorBudgetBurnFast
        expr: |
          slo:http_availability:burn_rate_1h > 14.4
          and
          slo:http_availability:burn_rate_5m > 14.4
        for: 2m
        labels:
          severity: critical
        annotations:
          summary: "Fast error budget burn detected"
          description: "Error budget burning at {{ $value }}x rate"

      # Slow burn: 6x rate, 6 hour window
      # Consumes 5% error budget in 6 hours
      - alert: SLOErrorBudgetBurnSlow
        expr: |
          slo:http_availability:burn_rate_6h > 6
          and
          slo:http_availability:burn_rate_30m > 6
        for: 15m
        labels:
          severity: warning
        annotations:
          summary: "Slow error budget burn detected"
          description: "Error budget burning at {{ $value }}x rate"

      # Error budget exhausted
      - alert: SLOErrorBudgetExhausted
        expr: slo:http_availability:error_budget_remaining < 0
        for: 5m
        labels:
          severity: critical
        annotations:
          summary: "SLO error budget exhausted"
          description: "Error budget remaining: {{ $value }}%"

SLO ダッシュボード

Grafana ダッシュボードの構成：

┌────────────────────────────────────┐
│ SLO Compliance (Current)           │
│ ✓ 99.95% (Target: 99.9%)          │
├────────────────────────────────────┤
│ Error Budget Remaining: 65%        │
│ ████████░░ 65%                     │
├────────────────────────────────────┤
│ SLI Trend (28 days)                │
│ [Time series graph]                │
├────────────────────────────────────┤
│ Burn Rate Analysis                 │
│ [Burn rate by time window]         │
└────────────────────────────────────┘

クエリの例：

# Current SLO compliance
sli:http_availability:ratio * 100

# Error budget remaining
slo:http_availability:error_budget_remaining

# Days until error budget exhausted (at current burn rate)
(slo:http_availability:error_budget_remaining / 100)
*
28
/
(1 - sli:http_availability:ratio) * (1 - 0.999)

複数ウィンドウのバーンレートアラート

# Combination of short and long windows reduces false positives
rules:
  - alert: SLOBurnRateHigh
    expr: |
      (
        slo:http_availability:burn_rate_1h > 14.4
        and
        slo:http_availability:burn_rate_5m > 14.4
      )
      or
      (
        slo:http_availability:burn_rate_6h > 6
        and
        slo:http_availability:burn_rate_30m > 6
      )
    labels:
      severity: critical

SLO のレビュープロセス

週次レビュー

• 現在の SLO 遵守状況
• エラーバジェットの状況
• 傾向分析
• インシデントの影響

月次レビュー

• SLO の達成状況
• エラーバジェットの使用状況
• インシデントの事後分析
• SLO の調整

四半期レビュー

• SLO の妥当性
• 目標の調整
• プロセスの改善
• ツールの強化

ベストプラクティス

1. ユーザー向けサービスから始める
2. 複数の SLI を使用する（可用性、レイテンシなど）
3. 達成可能な SLO を設定する（100% を目指さない）
4. 複数ウィンドウのアラートを実装してノイズを減らす
5. エラーバジェットを一貫して追跡する
6. SLO を定期的に見直す
7. SLO の決定事項を文書化する
8. ビジネス目標に合わせる
9. SLO レポートを自動化する
10. 優先順位付けに SLO を使用する

参考ファイル

• assets/slo-template.md - SLO 定義テンプレート
• references/slo-definitions.md - SLO 定義パターン
• references/error-budget.md - エラーバジェットの計算

関連スキル

• prometheus-configuration - メトリクスの収集
• grafana-dashboards - SLO の可視化