major-incident

重大インシデント管理

概要

このスキルでは、ServiceNow における優先度 1（P1）および重大インシデントを管理するための包括的なフレームワークを提供します。重大インシデントは、ビジネスへの影響が大きいため、迅速かつ連携の取れた対応が必要です。

重大インシデントに該当する事象：

• 多数のユーザーに影響するサービスの完全な停止
• 重要なビジネス機能の利用不能
• 重大なセキュリティ侵害
• 収益に影響するシステム障害
• 経営幹部が宣言した緊急事態

主な成果：

• サービスの迅速な復旧
• ステークホルダーとの明確なコミュニケーション
• 技術対応の連携
• インシデント後のレビューに向けたタイムラインの記録

前提条件

• ロール： incident_manager、major_incident_manager、または itil
• アクセス権： インシデント、問題、タスクの各テーブルに対する読み取り／書き込み権限
• 権限： 技術チームを招集する権限
• コミュニケーション： コミュニケーションチャネル（メール、Teams、Slack）へのアクセス
• 関連スキル： itsm/incident-lifecycle、itsm/incident-triage

手順

フェーズ 1：重大インシデントの宣言

ステップ 1.1：重大インシデントの基準を確認する

重大インシデントを宣言する前に、基準を満たしていることを確認します。

MCP を使用：

Tool: SN-Query-Table
Parameters:
  table_name: incident
  query: sys_id=[incident_sys_id]
  fields: number,short_description,priority,impact,urgency,state,business_service,cmdb_ci,assignment_group

重大インシデントのチェックリスト：

• 影響度：1-高（広範囲に及び、多数のユーザーに影響）
• 緊急度：1-高（ビジネス上重要で、時間的制約がある）
• ビジネスサービスのティア：ティア 1 または 2（重要／高）
• 回避策がない、または回避策では不十分

ステップ 1.2：重大インシデントを宣言する

MCP を使用：

Tool: SN-Update-Record
Parameters:
  table_name: incident
  sys_id: [incident_sys_id]
  data:
    priority: 1
    major_incident_state: accepted
    u_major_incident: true
    business_impact: |
      - Affected Users: [number]
      - Affected Services: [list]
      - Revenue Impact: [estimated]
      - Customer Impact: [description]

REST API を使用：

PATCH /api/now/table/incident/{sys_id}
Content-Type: application/json

{
  "priority": "1",
  "major_incident_state": "accepted",
  "u_major_incident": "true",
  "business_impact": "Affected Users: 500+\nAffected Services: CRM, Email\nRevenue Impact: $10K/hour"
}

ステップ 1.3：インシデントコマンダーを任命する

インシデントコマンダー（IC）は、重大インシデントのプロセスを統括します。

Tool: SN-Assign-Incident
Parameters:
  sys_id: [incident_sys_id]
  assigned_to: [incident_commander_username]
  assignment_group: Major Incident Management
  work_notes: |
    === MAJOR INCIDENT DECLARED ===
    Incident Commander: [Name]
    Declaration Time: [timestamp]
    Initial Assessment: [brief description]

    IC Responsibilities:
    - Own overall incident coordination
    - Manage bridge call
    - Ensure stakeholder communication
    - Drive to resolution

フェーズ 2：ブリッジコールの設定

ステップ 2.1：ブリッジコールのタスクを作成する

MCP を使用：

Tool: SN-Create-Record
Parameters:
  table_name: task
  data:
    parent: [incident_sys_id]
    short_description: "Major Incident Bridge Call - [INC#]"
    description: |
      Bridge Call Details:
      - Conference Number: [number]
      - Meeting ID: [id]
      - Passcode: [code]
      - Teams/Zoom Link: [link]

      Required Participants:
      - Incident Commander
      - Technical Lead(s)
      - Service Owner
      - Communications Lead
    assignment_group: Major Incident Management
    priority: 1

ステップ 2.2：ブリッジコールのスケジュールを記録する

MCP を使用：

Tool: SN-Add-Work-Notes
Parameters:
  sys_id: [incident_sys_id]
  work_notes: |
    === BRIDGE CALL SCHEDULE ===
    Initial Call: [time] - Situation Assessment

    Ongoing Calls:
    - Every 30 minutes during active troubleshooting
    - Every 60 minutes during monitoring phase

    Participants Required:
    - [ ] Incident Commander: [name]
    - [ ] Technical Lead: [name]
    - [ ] Service Owner: [name]
    - [ ] Communications: [name]
    - [ ] [Application] SME: [name]
    - [ ] Network Team: [name]
    - [ ] Database Team: [name]

    Bridge Info: [conference details]

フェーズ 3：ステークホルダーとのコミュニケーション

ステップ 3.1：初回通知

顧客向けコミュニケーション：

Tool: SN-Add-Comment
Parameters:
  sys_id: [incident_sys_id]
  comment: |
    === MAJOR INCIDENT NOTIFICATION ===

    Status: Investigating

    IMPACT:
    [Service Name] is currently experiencing [brief description].
    Affected users: [scope]

    CURRENT ACTIONS:
    Our technical teams are actively investigating this issue.

    NEXT UPDATE:
    We will provide an update within 30 minutes or sooner if we have new information.

    WORKAROUND:
    [If available, otherwise "No workaround currently available"]

    For urgent assistance, contact: [support contact]

    Reference: [INC#]

ステップ 3.2：経営幹部への通知テンプレート

内部作業メモ：

Tool: SN-Add-Work-Notes
Parameters:
  sys_id: [incident_sys_id]
  work_notes: |
    === EXECUTIVE NOTIFICATION SENT ===
    Time: [timestamp]
    Recipients: [list of executives]

    Subject: [MAJOR INCIDENT] [Service] - [Brief Issue]

    Summary:
    A major incident affecting [service/system] was declared at [time].

    Business Impact:
    - Users Affected: [number]
    - Revenue Impact: [estimate]
    - Customer Impact: [description]

    Current Status: [Investigating/Identified/Implementing Fix]

    ETA to Resolution: [estimate or "Under assessment"]

    Incident Commander: [name] ([contact])
    Next Update: [time]

ステップ 3.3：定期的な状況報告

30 分ごとの更新テンプレート：

Tool: SN-Add-Comment
Parameters:
  sys_id: [incident_sys_id]
  comment: |
    === STATUS UPDATE - [TIME] ===

    CURRENT STATUS: [Investigating/Identified/Implementing/Monitoring]

    PROGRESS SINCE LAST UPDATE:
    - [Action taken 1]
    - [Action taken 2]
    - [Finding or result]

    CURRENT FOCUS:
    [What the team is working on now]

    ETA: [Updated estimate]

    NEXT UPDATE: [time]

フェーズ 4：タイムラインの記録

ステップ 4.1：インシデントのタイムラインを維持する

重要：すべてをタイムスタンプとともに記録してください

Tool: SN-Add-Work-Notes
Parameters:
  sys_id: [incident_sys_id]
  work_notes: |
    === TIMELINE UPDATE ===

    [HH:MM] - [Event description]

    Examples:
    08:15 - First reports of service degradation received
    08:22 - Monitoring alert triggered: Database connection pool exhausted
    08:25 - Incident created and escalated to P2
    08:32 - Impact confirmed widespread - Major Incident declared
    08:35 - Bridge call initiated
    08:40 - Root cause identified: Memory leak in application server
    08:45 - Decision: Rolling restart of application cluster
    09:00 - Restart of node 1 complete
    09:15 - Restart of node 2 complete
    09:30 - Service restored - monitoring
    10:00 - Major incident closed - stable

ステップ 4.2：タイムラインのエントリを照会する

タイムライン用のすべてのジャーナルエントリを取得：

Tool: SN-Query-Table
Parameters:
  table_name: sys_journal_field
  query: element_id=[incident_sys_id]^element=work_notes
  fields: value,sys_created_on,sys_created_by
  order_by: sys_created_on

REST API を使用：

GET /api/now/table/sys_journal_field?sysparm_query=element_id={sys_id}^element=work_notes&sysparm_fields=value,sys_created_on,sys_created_by&sysparm_order_by=sys_created_on

フェーズ 5：解決とサービスの復旧

ステップ 5.1：サービスの復旧を確認する

Tool: SN-Add-Work-Notes
Parameters:
  sys_id: [incident_sys_id]
  work_notes: |
    === SERVICE RESTORATION CONFIRMED ===
    Time: [timestamp]

    Verification Completed:
    - [ ] Core functionality verified
    - [ ] User access confirmed
    - [ ] Monitoring shows normal metrics
    - [ ] Sample transactions successful
    - [ ] Performance within acceptable range

    Verified By: [name]

    Remaining Actions:
    - Continue monitoring for [time period]
    - Schedule PIR
    - Update knowledge base

ステップ 5.2：顧客への最終連絡

Tool: SN-Add-Comment
Parameters:
  sys_id: [incident_sys_id]
  comment: |
    === SERVICE RESTORED ===

    We are pleased to confirm that [Service Name] has been restored to normal operation.

    RESOLUTION SUMMARY:
    The issue was caused by [brief, non-technical explanation].
    Our team [brief description of fix].

    DURATION:
    Impact Start: [time]
    Service Restored: [time]
    Total Duration: [duration]

    NEXT STEPS:
    - We will conduct a Post-Incident Review
    - Improvements will be implemented to prevent recurrence

    We apologize for any inconvenience this may have caused.

    Thank you for your patience.

ステップ 5.3：重大インシデントをクローズする

Tool: SN-Update-Record
Parameters:
  table_name: incident
  sys_id: [incident_sys_id]
  data:
    state: 6
    close_code: Solved (Permanently)
    resolution_code: Solved (Permanently)
    major_incident_state: closed
    close_notes: |
      RESOLUTION SUMMARY:
      Root Cause: [description]
      Resolution: [what was done]

      TIMELINE:
      Incident Start: [time]
      Major Incident Declared: [time]
      Root Cause Identified: [time]
      Service Restored: [time]

      IMPACT:
      Duration: [total time]
      Users Affected: [number]
      Business Impact: [description]

      FOLLOW-UP:
      - PIR scheduled for [date]
      - Problem ticket: [PRB#]

フェーズ 6：インシデント後レビュー（PIR）

ステップ 6.1：問題レコードを作成する

問題管理へのリンク：

Tool: SN-Create-Record
Parameters:
  table_name: problem
  data:
    short_description: "PIR: [Original incident short description]"
    description: |
      Post-Incident Review for Major Incident [INC#]

      INCIDENT SUMMARY:
      [Brief description of what happened]

      IMPACT:
      - Duration: [time]
      - Users Affected: [number]
      - Services Affected: [list]
      - Business Impact: [description]

      TIMELINE:
      [Copy timeline from incident]

      INITIAL ROOT CAUSE:
      [Description]
    priority: 2
    assignment_group: [owning team]
    u_related_incident: [incident_sys_id]

ステップ 6.2：PIR 会議の議題

作業メモに記録：

Tool: SN-Add-Work-Notes
Parameters:
  sys_id: [problem_sys_id]
  work_notes: |
    === POST-INCIDENT REVIEW AGENDA ===

    Meeting Scheduled: [date/time]
    Attendees: [list]

    AGENDA:

    1. TIMELINE REVIEW (10 min)
       - Walk through event sequence
       - Identify detection gaps

    2. ROOT CAUSE ANALYSIS (20 min)
       - Technical root cause
       - Contributing factors
       - 5-Whys analysis

    3. RESPONSE EVALUATION (15 min)
       - What went well?
       - What could be improved?
       - Communication effectiveness

    4. ACTION ITEMS (15 min)
       - Prevention measures
       - Detection improvements
       - Process improvements
       - Assign owners and due dates

    5. FOLLOW-UP (5 min)
       - Schedule follow-up if needed
       - Documentation requirements

ステップ 6.3：PIR の調査結果を記録する

Tool: SN-Update-Record
Parameters:
  table_name: problem
  sys_id: [problem_sys_id]
  data:
    root_cause: |
      ROOT CAUSE:
      [Technical description of what caused the incident]

      5-WHYS ANALYSIS:
      1. Why did the service fail?
         [Answer]
      2. Why did [answer 1] happen?
         [Answer]
      3. Why did [answer 2] happen?
         [Answer]
      4. Why did [answer 3] happen?
         [Answer]
      5. Why did [answer 4] happen?
         [Answer - usually organizational or process issue]

      CONTRIBUTING FACTORS:
      - [Factor 1]
      - [Factor 2]

    fix: |
      IMMEDIATE FIX:
      [What was done to restore service]

      PERMANENT FIX:
      [What changes will prevent recurrence]

      ACTION ITEMS:
      1. [Action] - Owner: [name] - Due: [date]
      2. [Action] - Owner: [name] - Due: [date]
      3. [Action] - Owner: [name] - Due: [date]

インシデントコマンダーの責任

役割の定義

インシデントコマンダーは、重大インシデント発生時の唯一の説明責任者です。

責任	説明
調整	対応プロセス全体を統括する
コミュニケーション	ステークホルダーに適時、状況を伝える
意思決定	重要な決定を迅速に行うか、エスカレーションする
ドキュメント作成	タイムラインが維持されていることを確認する
リソース配分	技術リソースを要請し、割り当てる
エスカレーション	障害となる問題を管理者にエスカレーションする

IC チェックリスト

MAJOR INCIDENT IC CHECKLIST

IMMEDIATE (First 15 minutes):
- [ ] Confirm major incident declaration
- [ ] Establish bridge call
- [ ] Identify technical lead
- [ ] Send initial stakeholder notification
- [ ] Assign scribe for timeline

ONGOING (Every 30 minutes):
- [ ] Status update to bridge call
- [ ] Customer communication posted
- [ ] Executive update (if needed)
- [ ] Timeline reviewed and updated
- [ ] Resource needs assessed

RESOLUTION:
- [ ] Service restoration verified
- [ ] Final customer communication
- [ ] Close major incident record
- [ ] Schedule PIR
- [ ] Create problem record

POST-INCIDENT:
- [ ] Conduct PIR meeting
- [ ] Document findings
- [ ] Track action items
- [ ] Share lessons learned

ツールの使用概要

MCP ツール

ツール	目的	フェーズ
SN-Create-Incident	存在しない場合に重大インシデントを作成する	1
SN-Update-Record	インシデントのステータス、優先度、解決情報を更新する	1, 5, 6
SN-Add-Work-Notes	内部タイムラインおよびドキュメント作成	すべて
SN-Add-Comment	顧客向けの連絡	3, 5
SN-Query-Table	インシデントの詳細およびタイムラインを取得する	すべて
SN-Assign-Incident	インシデントコマンダーを割り当てる	1
SN-Natural-Language-Search	関連するインシデントを検索する	1

REST API エンドポイント

エンドポイント	メソッド	目的
/api/now/table/incident	POST	インシデントを作成
/api/now/table/incident/{sys_id}	PATCH	インシデントを更新
/api/now/table/incident/{sys_id}	GET	インシデントの詳細を取得
/api/now/table/sys_journal_field	GET	タイムラインの記録を取得
/api/now/table/problem	POST	PIR 用の問題を作成
/api/now/table/task	POST	ブリッジ通話タスクを作成

ベストプラクティス

• 完璧さよりスピード： 重大インシデントでは、完璧な対応より迅速な行動が重要です
• 早く、頻繁にコミュニケーションする： 関係者は、「調査中」であっても頻繁な更新を望みます
• 責任者を一人に定める： インシデントコマンダーを一人にし、責任の所在を明確にします
• 非難しない文化： 非難ではなく解決に注力し、分析は PIR のために行います
• すべてを記録する： すべての行動と判断を、タイムスタンプ付きで作業メモに記録します
• 技術対応とコミュニケーションを分ける： 技術チームは解決に専念し、IC がコミュニケーションを担当します
• エスカレーション経路を事前に定義する： 必要になる前に、誰に連絡するかを把握します
• ITIL との整合性： 重大インシデント管理は、ITIL 4 の重要なプラクティスです

トラブルシューティング

ブリッジ通話が開始されない

症状： 技術チームがブリッジに参加しない
原因： コミュニケーションが不明確、または会議の詳細が誤っている
解決策： 正しい詳細を記載して通知を再送信します。複数のチャネル（メール、Teams、SMS）を使用します

関係者から更新を頻繁に求められる

症状： IC が調整よりも更新に多くの時間を費やしている
原因： 関係者の不安、更新スケジュールが不明確
解決策： あらかじめ明確な更新頻度を設定します。コミュニケーションを専任の役割に委任します

タイムラインに欠落がある

症状： PIR で、何が起きたかに関する情報の欠落が判明する
原因： 専任の記録係がおらず、障害対応に追われている
解決策： 必ず専任の記録係を割り当てます。可能な場合は、自動タイムライン記録を使用します

解決したかどうかについて意見が分かれる

症状： 「復旧」後もサービスに影響があるとユーザーから報告される
原因： 検証が不十分、またはユーザーによって体験が異なる
解決策： 明確な復旧基準を定めます。ユーザーの視点からテストし、監視データを使用します

コミュニケーションテンプレート

ステータスページ更新テンプレート

[SERVICE NAME] - [STATUS]

Current Status: [Investigating/Identified/Monitoring/Resolved]

[timestamp] - [Brief update]

Affected Components:
- [Component 1]
- [Component 2]

More information will be provided as it becomes available.

メールテンプレート

初回通知：

Subject: [MAJOR INCIDENT] [Service] - Service Disruption

A major incident affecting [Service] has been declared.

Impact: [Brief description]
Status: Investigating
Incident Commander: [Name]

Updates will be provided every 30 minutes.

Bridge Call: [details]

解決通知：

Subject: [RESOLVED] [Service] - Service Restored

The major incident affecting [Service] has been resolved.

Duration: [start time] - [end time]
Root Cause: [Brief, non-technical explanation]
Resolution: [What was done]

A Post-Incident Review will be conducted and findings shared.

We apologize for any inconvenience.

関連スキル

• itsm/incident-lifecycle - 標準的なインシデント管理
• itsm/incident-triage - インシデントのトリアージプロセス
• itsm/problem-analysis - 根本原因分析
• itsm/change-management - 重大インシデント中の緊急変更
• development/notifications - 自動通知

参考資料

• ServiceNow の重大インシデント管理
• ITIL 4 インシデント管理プラクティス
• Google SRE Book - インシデント管理
• PagerDuty インシデント対応ガイド