agent-production-operations

agent-production-operations

ツールと権限を備えた評価済みエージェントを、管理された本番運用に移行するためのランタイムコントロールプレーンです。このバンドルは、評価に合格してから安全に本番で使用するまでの隔たりを埋めます。エージェントのバージョン管理、段階的なロールアウト、監視、制約、エスカレーション、無効化の方法と、本番環境の証拠を評価やリリース判断にフィードバックする方法を定義します。

このバンドルは、エージェントの構築、評価の設計、リリースパイプラインの実行、インフラストラクチャの管理は行いません。既存の専門スキルを活用してそれらの関心事を組み合わせ、その間にあるランタイムの制御判断のみを担います。

読み込むタイミング

次のようなエージェントを運用する場合は、このバンドルを読み込んでください。

• 評価に合格し、本番環境での使用を検討できる状態です。
• 副作用を伴うツールと、制御が必要な委任済みの権限を備えています。
• 権限を段階的に拡大しながら、段階的にロールアウトする必要があります。
• 本番環境でコスト、レイテンシ、ツールの健全性、権限の使用状況を監視する必要があります。
• フォールバック、エスカレーション、無効化の経路を定義する必要があります。
• 本番環境のトレースやインシデントを評価ケースとリリースゲートの更新にフィードバックする必要があります。

使用しない場合

次の用途では、このバンドルを読み込まないでください。

• エージェントをゼロから構築または設計する場合 — 適切なフレームワークスキル（LangGraph、CrewAI、AutoGen など）に振り分けてください。
• エージェントの評価やオブザーバビリティを設計する場合 — agent-evals-and-observability に振り分けてください。
• 一般的なリリースエンジニアリング（CI/CD パイプライン、アーティファクトの昇格）を行う場合 — release-engineering に振り分けてください。
• 一般的なサイト信頼性エンジニアリング（インシデント対応、SLO の定義、エラーバジェット）を行う場合 — site-reliability-engineering に振り分けてください。
• 一般的なセキュリティエンジニアリング（脅威モデリング、脆弱性評価）を行う場合 — secure-software-engineering に振り分けてください。
• 一般的なプラットフォームインフラストラクチャ（コンピューティング、ネットワーキング、ストレージ）を扱う場合 — platform-engineering に振り分けてください。
• 本番運用準備状況のレビューを行う場合 — production-readiness に振り分けてください。このバンドルは準備状況の結果を利用するものであり、結果を生成するものではありません。
• インシデントの事後分析を行う場合 — incident-learning に振り分けてください。このバンドルはエスカレーションとフィードバックの入力として、インシデント記録を利用します。

自律性は一様であるとは限りません

このバンドルでは、すべてのエージェントが同じ自律性、ユーザー層、または副作用の特性を持つとは想定していません。エージェントプロファイルは、能力クラスと副作用が及ぶ範囲によって区別されます。

プロファイル	例	権限	エスカレーションのトリガー	フォールバック
読み取り専用	社内検索エージェント	クエリのみ。変更不可、ユーザーデータへのアクセスなし	不確実性がしきい値を超えた場合、結果の品質が低下した場合	キャッシュ済み／静的な結果を返す
副作用を伴う操作が可能、社内向け	CI トリアージボット	Issue／PR へのコメント、ラベル管理、ブランチの作成	一定期間内のツール障害率が 5% を超えた場合、権限の逸脱を試みた場合	ツールを無効化し、人間にエスカレーションする
副作用を伴う操作が可能、顧客向け	アカウントにアクセスできるサポートエージェント	PII の読み取り、操作の提案。確認なしの変更は禁止	明示的な同意なしに PII にアクセスした場合、予算を 10% 超過した場合	読み取り専用に制限し、直ちにエスカレーションする

このバンドルにおけるすべての制御プレーン上の判断（権限、エスカレーション、フォールバック、無効化）は、エージェントの自律性プロファイルに応じてパラメーター化されます。読み取り専用エージェントと、顧客データを扱う副作用を伴う操作が可能なエージェントには、異なるしきい値とエスカレーション経路が適用されます。

権限のしきい値、および維持／拡大／縮小／一時停止／取り消しの判断は、ai-governance による支援を受ける責任ある人間が行います。運用上の証拠と準備状況は入力情報であり、権限を付与するものではありません。適用されるポリシーの上限、現在の権限付与の有効期限／取り消し、および外部の強制措置が、すべての実行を制約します。

ランタイム制御プレーンのルーティング

このバンドルは、以下の専門スキルを組み合わせます。該当する領域が主な課題となる場合にそれらを読み込み、領域を横断する連携はこのバンドルが担います。

課題	専門スキル	読み込むタイミング	バンドルで追加される内容
エージェントの評価と可観測性	agent-evals-and-observability	評価の設計、可観測性の計測、リグレッションの検出	トレースから評価へのフィードバックループ。本番インシデントに基づく評価ケースの生成
リリースエンジニアリング	release-engineering	リリースパイプラインの設計、アーティファクトの昇格、CI/CD	権限ゲートを備えたエージェント固有の段階的ロールアウト。エージェントの健全性に連動したロールバックのトリガー
サイト信頼性エンジニアリング	site-reliability-engineering	インシデント対応、SLO／SLI の定義、エラーバジェット	エージェント固有のレイテンシ／コスト予算。ツール健全性の SLO。インシデント指揮系統へのエスカレーションの引き継ぎ
セキュリティエンジニアリング	secure-software-engineering	脅威モデリング、信頼境界の検証、安全な設計	副作用の境界を定めたエージェントの権限契約。無効化時のセキュリティ対策（停止するだけでなく、権限を取り消す）
プラットフォームエンジニアリング	platform-engineering	コンピューティング、ネットワーキング、ストレージ、サービスインフラストラクチャ	エージェントのサンドボックス要件。ツール実行の分離に関する優先事項
本番環境への準備	production-readiness	準備状況レビュー、実施可／不可／延期／例外の判断	入力情報として利用。準備状況の結果によってエージェントの権限拡大を制御
インシデントからの学習	incident-learning	インシデント後の分析、検証済みの完了、フォローアップ作業	入力情報として利用。インシデント記録をエスカレーションのしきい値や評価ケースの生成に反映

プロトコルの読み込み

この SKILL.md は、発見可能な包括エントリーポイントです。このバンドルでは、ネストされたスキルは使用しません。参照ファイルは、条件に該当したときに読み込まれます。

参照先	読み込まれる条件
references/discovery-brief.md	バンドルの境界に関する判断を専門スキルと照らし合わせて確認するとき
references/agent-production-contract.md	エージェントの能力、権限、不確実性、エスカレーション、副作用に関する契約を定義するとき
references/runtime-control-plan.md	本番環境のエージェントのバージョン管理、段階的なロールアウト、またはフォールバックを計画するとき
references/tool-authority-health.md	ツールの可用性、障害、権限の使用状況や違反状態を経時的に記録または確認するとき
references/trace-to-eval-feedback.md	本番環境のトレースやインシデントを評価ケースやリリースゲートに結び付けるとき
references/service-conditions.md	テスト済みの同時実行範囲、ストリーミングの完了、キャッシュの分離、フォールバック品質、タスクのコスト予算を定義するとき

具体的な運用パラメーター

権限

• 定義：エージェントが実行を許可されているアクションの集合です。対象（どのリソースか）、操作（読み取り／書き込み／削除）、ユーザーコンテキスト（誰のデータか）によって範囲を定めます。
• 確認のトリガー：新しいツールの登録、モデルの更新、またはプロンプトの変更により、エージェントが実行可能なアクションの範囲が拡大した場合です。
• しきい値：権限はアクションの種類ごとに二値で定めます。本番環境の契約に明示的に記載されていないアクションは、実行できません。許可されていないアクションを実行しようとすることは権限違反であり、直ちにエスカレーションが発生します。
• 違反時の対応：試行を記録し、アクションをブロックし、権限違反カウンターを増やして、エスカレーションします。ローリング24時間の違反件数が3件を超えた場合、エージェントを無効にします。

エスカレーション

• 定義：判断やアクションをエージェントから指定された人間のオペレーターに引き継ぐことです。
• トリガー（いずれか1つに該当するとエスカレーションします）：
  • 権限違反（許可されていないアクションの試行）。
  • 不確実性がしきい値を超える場合：副作用を伴うアクションに対するエージェントの信頼度が0.7未満（プロファイルごとに設定可能）。
  • 5分間のスライディングウィンドウにおけるツールの失敗率が5%超。
  • 請求期間中にコスト予算の超過が割り当て予算の10%超。
  • レイテンシのp95が5分を超えてベースラインの2倍超。
  • 人間への引き継ぎを示すキーワード、またはユーザーからの明示的なエスカレーション要求。
• 対応：エージェントの副作用を伴う操作権限を一時停止し、エスカレーションのコンテキスト（トリガー、状態のスナップショット、保留中のアクション）を記録して、指定されたエスカレーションチャネルに通知し、人間の判断（再開／権限を縮小して再開／無効化）を待ちます。

フォールバック

• 定義：エージェント、モデル、またはツールが通常の能力レベルで動作できない場合に、あらかじめ定められた安全な動作です。
• トリガー：
  • モデルのエンドポイントが30秒を超えて5xxを返す場合。
  • 重要なツールが利用できない場合（ヘルスチェックの失敗が2分超）。
  • コスト予算を使い切った場合（消費率100%）。
  • レイテンシのp95が2分を超えてベースラインの5倍超。
• プロファイルごとの対応：
  • 読み取り専用：静的またはキャッシュ済みの応答を、「結果が古い可能性があります」という免責事項とともに返します。
  • 副作用を伴う操作が可能な社内向け：読み取り専用に切り替え、保留中の変更をキューに入れ、オペレーターに通知します。
  • 副作用を伴う操作が可能な顧客向け：読み取り専用に切り替え、ユーザーに「一時的に利用できません」というメッセージを表示し、直ちにエスカレーションします。

無効化

• 定義：読み取り専用アクセスも含め、エージェントが行動する能力を完全に取り消すことです。能力を縮小して維持するフォールバックとは異なります。
• トリガー：
  • 24時間以内に権限違反が3回以上発生した場合。
  • 現在のエージェントバージョンに対する本番環境対応レビューの結果が「不可」または「延期」の場合。
  • インシデント学習記録で、重大度1または重大度2のインシデントがエージェントの行動に起因するとされ、検証済みのクローズがまだ完了していない場合。
  • 人間のオペレーターが明示的な無効化指示を出した場合。
  • ツールの侵害または認証情報の漏洩が検出された場合（secure-software-engineering を通じて対応してください）。
• アクション：すべての認証情報とトークンを無効化し、ルーティング／ロードバランシングから除外します。無効化の理由、タイムスタンプ、承認の根拠を記録し、エスカレーション用チャネルに通知します。新たな本番環境対応レビューに合格するまで、自動再起動を防止します。

コスト

• 定義：エージェントの運用にかかる費用で、予算責任者に割り当てられます。
• 予算：請求期間ごとにエージェント単位で割り当てます（例：顧客対応サポートエージェントの場合、1日あたり$500）。予算は本番契約の締結時に設定し、本番環境対応サイクルごとに見直します。
• しきい値：
  • 50%消費：予算責任者に通知します。
  • 80%消費：警告を出し、コスト最適化レビューを開始します。
  • 100%消費：新たな支出を停止し、キャッシュ済み／無料のフォールバック、または別途承認された上限付き予算を使用します。読み取り専用の処理やモデルの処理にもリソースのコストがかかります。
  • 精算額が110%に達したことを確認した場合：無効化して超過分を調査します。100%を超えて支出してよいという許可として扱ってはなりません。
• 測定：リクエストごとのモデルコストと、呼び出しごとのツールコスト（該当する場合）を、エージェントインスタンスに割り当てます。コストデータは tool-authority-health レコードに追加されます。

レイテンシ

• 定義：ユーザーのリクエストからエージェントの応答までのエンドツーエンドの応答時間で、5分間のウィンドウにおけるp50とp95を測定します。
• ベースライン：段階的ロールアウトの観察期間（ロールアウトのフェーズ1）中に確立します。エージェントの本番契約に記録します。
• しきい値：
  • p95がベースラインの2倍を超える状態が5分を超えて続いた場合：エスカレーションのトリガー。
  • p95がベースラインの5倍を超える状態が2分を超えて続いた場合：フォールバックのトリガー。
  • コスト予算の消費率が80%を超えている状態で、p50がベースラインの3倍を超える状態が10分を超えて続いた場合：無効化を検討します。
• アクション：レイテンシ違反は、トレースから評価へのフィードバックループに反映します。レイテンシの影響を受けたリクエストをサンプリングし、評価ケースの生成に向けてレビューします。

プライバシー

• 定義：ユーザーデータ（PII、利用パターン、会話内容）へのエージェントのアクセス、処理、保持に関する制約です。
• 具体的なルール：
  • エージェントは、権限契約で明示的なユーザーデータアクセス許可を得ていない限り、PIIにアクセスしてはなりません。
  • エージェントのトレースと会話ログは、トレースから評価へのフィードバックパイプラインに入る前にPIIを削除しなければなりません（削除設計はprivacy-engineeringを通じて対応してください）。
  • 本番契約でより短い期間が指定されていない限り、エージェントのトレースのデータ保持期間はデフォルトで30日間です。
  • 読み取り専用エージェントによるPIIへのアクセスがあった場合は、直ちにエスカレーションします（読み取り専用プロファイルがPIIに触れることは決してないはずです）。
• プライバシー侵害：許可された範囲外でPIIにアクセスした場合は、エスカレーションし、secure-software-engineeringを通じたセキュリティレビューを必ず実施します。

コアワークフロー

1. 契約：references/agent-production-contract.mdを使用して、エージェントの能力、権限、不確実性、エスカレーション、副作用に関する契約を定義します。本番運用準備の評価結果とインシデントから得た学びの記録を、意思決定の入力として活用します。

2. バージョン管理と計画：references/runtime-control-plan.mdを使用して、モデル、プロンプト、ツール、ポリシー、評価器にバージョンを付け、段階的なロールアウトとフォールバック経路を計画します。

   サービングの動作を変更したり、トラフィックを拡大したりする前に、サービス条件を読み込み、テスト済みの範囲をサービス条件の記録に記録します。

3. ロールアウト：references/tool-authority-health.mdを使用して、各段階でツールの健全性と権限の使用状況を監視しながら、段階的に権限を拡大してロールアウトを実行します。

4. 監視：コスト、レイテンシ、ツールの健全性、権限違反、エスカレーションのイベントを追跡します。上記の具体的なパラメーターに従い、しきい値に基づく対応（通知、機能低下、エスカレーション、無効化）を実施します。

5. フィードバック：references/trace-to-eval-feedback.mdを使用して、本番環境のトレースとインシデントを評価ケースおよびリリースゲートの更新に結び付けます。

6. 学習：インシデント学習の検証済みクローズ記録と、本番運用準備レビューの結果を取り込み、エージェントの権限、エスカレーションのしきい値、無効化の条件を更新します。

ファイル一覧

パス	目的
SKILL.md	全体のエントリーポイント（このファイル）
README.md	人間向けの概要とクイックスタート
AGENTS.md	エージェントの読み込みと検出に関する説明
references/discovery-brief.md	専門スキルとの境界分析
references/agent-production-contract.md	能力、権限、不確実性、エスカレーション、副作用に関する契約
references/runtime-control-plan.md	バージョン管理、段階的なロールアウト、フォールバック計画
references/tool-authority-health.md	ツールの可用性／障害、権限の使用状況／違反の記録
references/trace-to-eval-feedback.md	本番環境から評価へのフィードバックループ
references/service-conditions.md	テスト済みの容量、ストリーミング、キャッシュ、フォールバック、コストに関する条件
templates/service-condition-record.md	ワークロードの上限、受け入れしきい値、証跡、停止条件を記録します
evals/evals.json	統合された出力品質の評価ケース
manifest.yaml	機械可読な構成契約（schema v1）：目的、対象者、段階、含まれるスキル、前提条件、出力、引き継ぎ、競合、評価スイートを定義し、ライフサイクル機能マトリックスで使用されます