ai-mlops

MLOps & LLMOps - 本番運用ハブ

**運用方針：**変更可能なすべての成果物にバージョンを付け、CI で回帰評価スイートを通過したものだけをリリースし、OpenTelemetry で経路全体を計測します（出力する GenAI セマンティック規約のスキーマバージョンを固定します）。ツールや RAG のコンテキストは信頼できない入力として扱い、リリース前にロールバック手順とインシデント対応プレイブックを用意します。

このスキルを使う場面

次のような依頼があった場合に、このスキルを有効にしてください。

• ML、LLM、RAG、またはエージェントを利用するシステムの本番環境へのデプロイ
• サービング、バッチ、ハイブリッド、またはマルチリージョンのランタイムアーキテクチャの設計
• オブザーバビリティ、ドリフト検知、アラート、再トレーニング、またはリリースゲートの追加
• インシデント対応ランブック、ロールバック計画、またはリリース可否チェックリストの作成
• LLM システムの新しいモデル、モデルバージョン、プロバイダー、または API サーフェスへの移行
• プロンプトインジェクション、RAG ポイズニング、ツールの悪用、またはデータ漏えいに対する AI システムの強化
• プライバシー、監査可能性、または規制対象のロールアウトに関するガバナンス成果物の作成
• プロンプト、モデル成果物、特徴量定義、またはエージェントグラフを安全に運用する方法の選定
• エンタングルメント、修正の連鎖、未宣言の利用者、パイプラインの乱立、設定の拡散など、ML システムへの変更が次々と波及する原因の診断
• 公平性、プライバシー予算、人間による監督、異議申し立て、電子透かし／来歴、著作権／記憶化、または環境面の制御の運用
• メディアの取り込み、安全性、レイテンシー、コストを制限したうえでの、画像、ドキュメント、音声、動画、視覚言語、または拡散モデルを利用するマルチモーダルシステムのデプロイ

対象範囲の境界

• EDA、特徴量エンジニアリング、トレーニング、SQL 変換 -> ai-ml-data-science
• プロンプト戦略 -> ai-prompt-engineering、評価設計 -> ai-evals
• ファインチューニングとファインチューニングの投資対効果 -> ai-llm、選好／RL のポストトレーニング -> ai-post-training
• 検索アーキテクチャ、チャンク分割、再ランキング、検索品質 -> ai-rag
• レイテンシー、バッチ処理、量子化、GPU サービングの内部処理 -> ai-llm-inference
• エージェントの詳細なアーキテクチャ、MCP サーバーの設計、ハンドオフ、メモリー -> ai-agents

アーキテクチャがすでに存在する本番システムの運用、またはその本番向け制御の定義に、このスキルの対象を絞ってください。

クイックリファレンス

タスク	デフォルトのツール／パターン	使用する場面
データ取り込み	dlt + コントラクト + リネージ	API、CDC、ウェアハウスへのロード、増分同期
バッチスコアリング	Airflow、Dagster、Prefect	大量のスコアリング、バックフィル、遅延ラベル
リアルタイムサービング	FastAPI、gRPC、KServe、BentoML	明示的な SLO を備えた低レイテンシ API
LLM サービング	vLLM。モデルや機能で必要な場合は SGLang	高スループットのテキスト生成エンドポイント。TGI はメンテナンスモードのため、新規デプロイには使用しないでください
レジストリ／昇格	MLflow、W&B、ZenML。ステージではなくエイリアス（champion/challenger）で昇格	バージョン管理、承認、ロールバック、リネージ
特徴量の一貫性	Feast／マネージド特徴量ストア	バッチとオンラインの整合性、およびポイントインタイムの正確性
可観測性	OpenTelemetry + Prometheus/Grafana	トレース、メトリクス、アラート、コストとレイテンシの予算
OTel GenAI 規約	出力する semconv スキーマのバージョンを固定	属性名に依存する前に、OpenTelemetry semantic-conventions プロジェクトで規約の安定性ステータスと配置を確認
ドリフト／再トレーニング	統計的モニター + ゲート付き CT	変化を検出し、制御された再トレーニングを開始
トレーニングジョブのオーケストレーション	Ray、Slurm、クラウドのトレーニングキュー（SageMaker Jobs、Vertex）	ファインチューニングと評価ジョブをキューイング／スケジュールし、GPU 支出の膨張を防ぐ
コストのチャージバック／ショーバック	リソースタグ付け + チーム別またはモデル別のコストダッシュボード	LLM API、GPU、ストレージのコストを事業部門に割り当てる
CI ゲートとしての評価	CI でモデル／プロンプトのデプロイをブロックする回帰評価スイート	LLM-as-judge：人手でラベル付けしたゴールドセットに照らして調整する（判定器はドリフトします）
エージェントのランタイム運用	トレーススパン + ツールの承認 + 監査ログ	ツールを使用するエージェント、MCP ツール、承認フロー
セキュリティ／ガバナンス	脅威モデル + ポリシーチェックリスト + ランブック	GenAI の堅牢化、プライバシー、AI Act、インシデント対応の準備

デフォルトのワークフロー

1. 以下の意思決定ツリーで、ランタイムのパターンを選択します。
2. リリース成果物を定義します：モデル／プロンプトのバージョン、担当者、ロールバック先、評価レポート、ランブック。
3. まず計測を導入します：トレース、リクエスト ID、モデル／プロンプト／ツールのバージョン、レイテンシ／コストの予算。
4. ポリシーゲートを追加します：セキュリティレビュー、プライバシー管理、AI リスクに関する注記、承認経路。
5. 段階的にロールアウトします：シャドー -> カナリア -> トラフィックへの昇格。自動ロールバック条件も設定します。
6. フィードバックループを閉じます：アラート、インシデント対応ランブック、フィードバック収集、再トレーニングまたは廃止のトリガー。

意思決定ツリー：運用パターンを選択する

Need to operate an AI system in production:
    ├─ Primary workload is data movement?
    │   ├─ APIs / SaaS syncs -> dlt ingestion + contracts + freshness alerts
    │   ├─ Database replication -> CDC / incremental sync + lineage + replay plan
    │   └─ Streaming events -> queue/stream path + backpressure + schema control
    │
    ├─ Primary workload is inference?
    │   ├─ Scheduled / offline -> batch scoring pipeline
    │   ├─ Latency-sensitive API -> online service with SLOs, timeouts, rollback target
    │   └─ Mix of both -> hybrid deployment + shared registry + feature parity
    │
    ├─ System includes LLM or RAG?
    │   ├─ Yes -> prompt/config versioning + token/cost budgets + safety gates
    │   └─ RAG -> retrieval ACLs + poisoning defenses + answerability / citation checks
    │
    ├─ System includes tool-using agents?
    │   ├─ Yes -> approval gates + least-privilege tools + trace tool calls
    │   └─ MCP tools -> auth + audit + semantic telemetry for MCP sessions and tools
    │
    └─ Need regulated or multi-region rollout?
        ├─ Yes -> residency, tenant isolation, audit evidence, rollback by region
        └─ No -> single-region rollout with standard incident and rollback controls

運用ルール

• OpenTelemetry を最優先：リクエスト、プロンプト、モデル、ツール、MCP のやり取りに関するトレースとメトリクスを、OTel GenAI（および該当する場合は MCP）のセマンティック規約を使って標準化します。出力する規約スキーマのバージョンまたはコミットを正確に固定し、その情報をテレメトリとともに記録してください。リリース前に、OpenTelemetry プロジェクトで規約の安定性ステータスを確認してください。実験的な属性名は変更されるため、それらをキーにしたダッシュボードは気づかないうちに壊れることがあります。
• 評価を CI ゲートにする：モデル、プロンプト、機能、検索、エージェントグラフを変更するたびに、デプロイ前に回帰評価スイートを通過させる必要があります。このスキルでは、その仕組みを整えます。CI のどこでゲートを実行するか、何がデプロイをブロックするか、ロールバック経路は何かを定めます（online-evaluation-patterns.md）。評価スイートの設計、人間のラベルに対する LLM 判定の較正、しきい値の設定は ai-evals の対象です。
• 検索で取得したコンテンツとツールは信頼できないものとして扱う：RAG のコンテキスト、ツールの出力、外部 API、MCP サーバーにはすべて、封じ込め、検証、監査ログが必要です。
• ランタイム全体をバージョン管理する：モデルアーティファクト、特徴量定義、プロンプト／設定、安全ポリシー、ツールスキーマ、エージェントグラフを管理します。
• ステージではなくエイリアスで昇格する：サービングの参照先をレジストリのエイリアス（@champion、@challenger）に設定し、エイリアスを移動して昇格またはロールバックします。ライフサイクルステージや「latest version」に、サービング対象を決めさせてはいけません。エイリアスの命名方法と保護方法は、使用するレジストリのドキュメントを確認してください。
• サービングエンジンのバージョン変更は移行作業：エンジンのフラグ、非推奨の実行経路、意味上の差異（対数確率、サンプリングのデフォルト設定）は ai-llm-inference の対象です。ここでは、エンジンのアップグレードをモデル変更と同様に扱い、同じ評価ゲートとカナリア検証を通してください。
• 規制の適用時期は記憶ではなく、調べて確認する：コンプライアンスのロードマップを確定する前に、規制の官報に掲載された公式文書と、システムのリスククラスに適用される義務について規制当局が定める実施スケジュールを確認し、「政治的合意」や「採択」を「施行中」とは区別してください。AI Act に関する基準となる説明と確認手順は、startup-compliance-enterprise-readiness の regulatory-overlays にあります。

カナリア昇格ゲート

本番トラフィックを変更する前に、オフラインでのブロッカー、シャドーチェック、カナリアの対象群、観測期間、ロールバックのトリガー、責任者を定めます。モデル品質、特徴量または検索の偏り、レイテンシ、エラー、コスト、安全性の各メトリクスが対象範囲に応じたしきい値を満たし、リハーサルでロールバック経路が以前のランタイム全体を復元できた場合にのみ昇格します。エンドポイントが正常であることやレジストリエイリアスを変更したことは、デプロイの証拠であって、本番環境での挙動を示す証拠ではありません。

よくある落とし穴

• 何が壊れたのかを把握するための計測を整える前に、モデル、プロンプト、エージェントの変更をリリースする。
• モデルアーティファクトだけをバージョン管理し、プロンプト設定、ツールスキーマ、安全ポリシー、検索の契約を別々に変更する。
• 専用のエスカレーション経路、証拠の収集、責任者を定めず、安全性に関するインシデントを通常のランタイム障害として扱う。
• ゲート付きの昇格手順、ロールバック先、シャドー評価を定めずに、再学習のトリガーを作る。
• 影響範囲と証拠要件が異なるにもかかわらず、機械学習、RAG、エージェントの障害すべてに1つのグローバルなランブックで十分だと考える。

スクリプト

スクリプト	用途
scripts/drift_check.py	ビンごとのカウントに対する PSI と KL を計算します。疎なビンのプーリング、平滑化、特徴量ごとのドリフトなしノイズフロアを適用します（ウィンドウが大きくなるほど PSI ノイズは小さくなります）。ALERT の場合は 1、入力が無効な場合は 2 で終了します。
scripts/deployment_smoke_test.sh	OpenAI 互換エンドポイントのシャドー／カナリア用スモーク検証を行います。ヘルスチェック、モデル一覧、JSON として解析したチャットコンテンツと finish_reason、レイテンシを確認します。フェイルクローズ方式で、期待されるすべてのチェックから報告がなければ失敗します。

ナビゲーション

リリースとアーキテクチャ

• データ取り込みパターン - コントラクト、CDC、増分ロード、リネージ、リプレイ、スキーマ進化に使用します。
• デプロイパターン - バッチ、オンライン、ハイブリッド、ストリーミングのデプロイモードを選択する際に使用します。
• デプロイライフサイクル - 昇格、ロールアウト、ロールバック、廃止のワークフローに使用します。
• モデルとプロバイダーの移行 - LLM モデル、バージョン、プロバイダー、API サーフェスを切り替える際に使用します。コントラクトの棚卸し、API サーフェスの比較、評価のリプレイ、カナリア、ロールバックのトリガーを扱います。
• モデルレジストリのパターン - メタデータ、アーティファクトのパッケージ化、昇格のガバナンスに使用します。
• フィーチャーストアのパターン - バッチとオンラインの整合性、レイテンシ予算、ポイントインタイムの正確性に使用します。
• マルチリージョンのパターン - データレジデンシー、フェイルオーバー、災害復旧、リージョン単位のロールバックに使用します。
• ML 技術的負債の分類体系 - 境界の侵食／CACHE、修正の連鎖、未申告の利用者、データ／設定／パイプラインの負債、フィードバックループを、検出シグナルと緩和策とともに診断する際に使用します。

可観測性、評価、コスト

• モニタリングのベストプラクティス - SLO、アラートのルーティング、ダッシュボード、本番環境におけるメトリクスの網羅性に使用します。OTel GenAI の成熟度に関する注意点も含まれます。
• ドリフト検出ガイド - 特徴量、ラベル、概念、埋め込みのドリフトへの対応に使用します。
• 自動再トレーニングのパターン - トリガーの選定、検証ゲート、安全な再トレーニングのロールアウト、トレーニングジョブのキュー／スケジューラーに関する指針に使用します。
• オンライン評価の組み込み - CI/CD における評価ゲートの配置、ロールアウトとロールバックの組み込み、フィードバックのロギングに使用します。実験と評価者の設計については ai-evals を参照してください。
• 実験追跡のパターン - 実行名、アーティファクトの保持、レジストリへの引き継ぎ、監査可能性に使用します。
• ML のコスト調整手段 - ML 固有のコスト調整手段（タグ付け、スポットインスタンスのチェックポイント間隔、再トレーニング頻度、チューニング予算、GPU 使用率）に使用します。コミットメント、予算、チャージバックについては ops-cost-optimization を参照してください。
• インシデント対応プレイブック - 初動対応の手順、トリアージのフロー、事後分析の網羅性に使用します。
• AgentOps のパターン - エージェントのトレース、リプレイ、ツール呼び出しのテレメトリー、ランタイムのデバッグに使用します。

セキュリティとガバナンス

• 脅威モデル - 信頼境界を把握するために最初に使用します。各脅威に対応する参照先を示しています。
• ツールのガバナンス、承認経路、状態の分離、出力のフィルタリング -> ai-agents guardrails-implementation
• プロンプトインジェクションとジェイルブレイクのテストカバレッジ -> qa-agent-testing prompt-injection-testing
• RAG のポイズニング、検索 ACL、コンテキストのサニタイズ -> ai-rag security-red-team-cases
• モデル抽出の防御 - クエリ悪用の検出、レート制御、能力の窃取に対する防御に使用します。
• プライバシー保護 - PII の取り扱い、保持、マスキング、最小化に使用します。
• モデルとデータのアーティファクトに関するサプライチェーン（ハッシュの固定、安全な形式、署名） -> software-security-appsec supply-chain-security
• 安全性の評価 - レッドチームテスト、情報漏えいテスト、拒否評価に使用します。
• ガバナンスチェックリスト - モデルカード、ポリシーの証跡、監査アーティファクト、コンプライアンスへの引き継ぎに使用します。

API とランタイムインターフェース

• API 設計パターン - 推論コントラクト、JSON/gRPC インターフェース、信頼性制御に使用します。
• LLM と RAG の本番運用パターン - プロンプトと設定のライフサイクル、キャッシュ、フォールバック戦略、ランタイム監視に使用します。
• エッジ MLOps パターン - TinyML、OTA ロールアウト、デバイスのテレメトリ、不安定な接続に使用します。

テンプレート

取り込みとデプロイ

• dlt の基本的なパイプライン設定 - 基本的な抽出・ロードパイプラインです。
• dlt REST API ソース - ページネーション、認証、レート制限処理を備えた REST 取り込みです。
• dlt データベースソース - データベースレプリケーションのパターンです。
• dlt 増分ロード - タイムスタンプ、ID、マージ、遡及読み込みのパターンです。
• dlt ウェアハウスへのロード - ウェアハウスの出力先に関するパターンです。
• デプロイと MLOps のテンプレート - 本番運用の全仕様です。
• デプロイ準備チェックリスト - リリース前の実施可否判定です。
• API サービスのテンプレート - リアルタイム推論 API のひな形です。
• バッチスコアリングパイプラインのテンプレート - オーケストレーションされたオフラインスコアリングのワークフローです。

監視とインシデント

• 監視とアラートのテンプレート - ダッシュボード、SLO、アラートです。
• ドリフト検出と再学習のテンプレート - 再学習のフローをトリガーし、検証して昇格させます。
• インシデント対応手順書のテンプレート - 一般的な信頼性インシデントへの対応です。
• 安全性インシデント対応手順書 - GenAI の安全性に関するエスカレーションのワークフローです。
• ジェイルブレイク調査テンプレート - プロンプトや安全性の回避に関するインシデント後の分析です。

安全性、プライバシー、ガバナンス

• 安全性プロンプトのテンプレート - 安全性システムプロンプトの基本骨格です。
• 出力フィルターのテンプレート - 生成後のフィルタリングポリシーです。
• ガードレール設定のテンプレート - 事前／事後フィルターと重大度の処理に関するガードレールの設定です。
• PII 処理のテンプレート - 機密性の高い入力データの取り扱いとログ記録のルールです。
• データ匿名化のテンプレート - マスキングと匿名化のワークフローです。
• リスク評価のテンプレート - デリバリー時のリスク登録簿です。
• ポリシーチェックリストのテンプレート - 運用ポリシーの管理策と証跡の追跡です。
• セキュリティ監査のテンプレート - AI のデプロイメント向けセキュリティレビュー用ワークシートです。

推奨事項の最新性に関するプロトコル

ユーザーが MLOps／LLMOps ツールについて最適なもの、最新のもの、現在のもの、または今も有用なものを尋ねた場合：

1. data/sources.jsonを起点にします。
2. 公式ドキュメントと最近のメンテナンス／リリース情報を使って、現状を確認します。
3. リリース頻度、ホステッド型かセルフホスト可能か、料金モデル、マネージドサービスの提供状況など、変動する事実を確認します。
4. 安定した指針と、時間の経過で変わりうる推奨事項を回答内で分けます。

ツールを比較する際に最低限確認する項目：

• 最新の有効なドキュメントまたはリリース情報
• 現在のメンテナンス状況／エコシステムの勢い
• マネージド型とセルフホスト型のデプロイメント方針
• テレメトリー、評価、ガバナンスのサポート
• ベンダーロックインやデータレジデンシーに関する制約

外部ソース

キュレーションされた参考資料は、data/sources.jsonを参照してください。以下が含まれます：

• EU AI Act と NIST のガバナンス基準
• OpenTelemetry GenAI と MCP のセマンティック規約
• MCP の認可に関するガイダンス
• OWASP GenAI とエージェント型 AI のセキュリティ資料
• レジストリ、フィーチャーストア、オーケストレーション、サービング、オブザーバビリティに関するベンダーのドキュメント

責任あるマルチモーダル運用については、references/responsible-multimodal-operations.mdを起点にしてください。リリースの証跡、プライバシー／公平性の管理策、ポイズニングへの対応、監督と異議申し立て、来歴、環境会計、メディアの取り込み、マルチモーダルの安全性、キャパシティ、インシデントを扱います。

関連スキル

• ai-ml-data-science - モデルまたはフィーチャーパイプラインを構築し、検証します。
• ai-llm - モデルを適応させます（SFT、PEFT、蒸留）。
• ai-post-training - 報酬シグナルに基づく選好最適化と RL を行います。
• ai-prompt-engineering / ai-evals - プロンプト戦略と評価設計を扱います。
• ai-rag - 検索と検索品質のシステムを設計します。
• ai-llm-inference - 低レベルのサービングパフォーマンスを最適化します。
• ai-agents - エージェントの制御フロー、MCP サーバー、ハンドオフ、メモリーを設計します。
• data-lake-platform - より広範なレイクハウス、Kafka、データウェアハウスのインフラストラクチャを扱います。
• qa-observability - システム横断のオブザーバビリティ実装を深く扱います。
• ops-devops-platform - プラットフォーム運用とインフラ展開を深く扱います。
• ops-cost-optimization - コミットメント、予算、異常アラート、チャージバック／ショーバック、API コスト管理を扱います。
• huggingface-trackio（外部の huggingface-skills: プラグイン）- Trackio による Hugging Face の実験トラッキングです。

学びのループ

過去の判断や落とし穴が関係する場合は、learnings.consolidated.md があれば参照してください。必要な履歴を確認する場合、または他に利用できるものがない場合に限り、learnings.md を使用してください。それ以外の場合は、どちらも参照しないでください。

適用後、覚えておく価値のあるパターン、防止すべきミス、または意外だった分野の事実に気づいた場合は、agents-skills-feedback-loop/scripts/append_learning.py を使って、日付付きの箇条書きを learnings.md に1つ追記してください。SKILL.md 自体は変更しないでください。