machine-learning-ops-ml-pipeline

機械学習パイプライン - マルチエージェント MLOps オーケストレーション

$ARGUMENTS の完全な ML パイプラインを設計し、実装します。

このスキルを使用する場合

• 機械学習パイプライン - マルチエージェント MLOps オーケストレーションのタスクやワークフローに取り組む場合
• 機械学習パイプライン - マルチエージェント MLOps オーケストレーションについて、ガイダンス、ベストプラクティス、チェックリストが必要な場合

このスキルを使用しない場合

• タスクが機械学習パイプライン - マルチエージェント MLOps オーケストレーションに関係しない場合
• この範囲外の別のドメインやツールが必要な場合

指示

• 目標、制約、必要な入力を明確にします。
• 関連するベストプラクティスを適用し、成果を検証します。
• 実行可能な手順と検証方法を提示します。

考え方

このワークフローでは、最新の MLOps のベストプラクティスに沿って本番環境対応の ML パイプラインを構築するため、複数の専門エージェントを連携させます。次の点を重視します。

• フェーズベースの連携：各フェーズは前のフェーズの成果を基盤とし、エージェント間の引き継ぎを明確にします
• 最新のツールとの統合：実験には MLflow/W&B、特徴量には Feast/Tecton、サービングには KServe/Seldon を使用します
• 本番環境を第一に考える姿勢：すべてのコンポーネントをスケーラビリティ、監視、信頼性を考慮して設計します
• 再現性：データ、モデル、インフラストラクチャをバージョン管理します
• 継続的な改善：自動再トレーニング、A/B テスト、ドリフト検出を行います

マルチエージェント方式では、各分野を専門家が担当します。

• データエンジニアはデータの取り込みと品質を担当します
• データサイエンティストは特徴量と実験を設計します
• ML エンジニアはトレーニングパイプラインを実装します
• MLOps エンジニアは本番環境へのデプロイを担当します
• 可観測性エンジニアは監視を担います

フェーズ 1：データと要件の分析

subagent_type: data-engineer prompt: | 次の要件に基づいて、ML システムのデータパイプラインを分析し、設計します：$ARGUMENTS

成果物：

1. データソースの監査と取り込み戦略：

   • ソースシステムと接続パターン
   • Pydantic/Great Expectations を使用したスキーマ検証
   • DVC または lakeFS によるデータのバージョン管理
   • 増分ロードと CDC 戦略

2. データ品質フレームワーク：

   • プロファイリングと統計情報の生成
   • 異常検出ルール
   • データリネージの追跡
   • 品質ゲートと SLA

3. ストレージアーキテクチャ：

   • raw/processed/feature レイヤー
   • パーティショニング戦略
   • 保持ポリシー
   • コスト最適化

重要なコンポーネントと統合パターンの実装コードを提示してください。

subagent_type: data-scientist prompt: | 次について、特徴量エンジニアリングとモデル要件を設計します：$ARGUMENTS 次のデータアーキテクチャを使用します：{phase1.data-engineer.output}

成果物：

1. 特徴量エンジニアリングパイプライン：

   • 変換仕様
   • 特徴量ストアのスキーマ（Feast/Tecton）
   • 統計的検証ルール
   • 欠損データ／外れ値への対処戦略

2. モデル要件：

   • アルゴリズム選定の根拠
   • パフォーマンス指標とベースライン
   • トレーニングデータの要件
   • 評価基準としきい値

3. 実験設計：

   • 仮説と成功指標
   • A/B テストの方法
   • サンプルサイズの計算
   • バイアス検出のアプローチ

特徴量変換コードと統計的検証ロジックを含めてください。

フェーズ 2: モデル開発とトレーニング

subagent_type: ml-engineer prompt: | 要件に基づいてトレーニングパイプラインを実装します: {phase1.data-scientist.output} データパイプラインを使用します: {phase1.data-engineer.output}

包括的なトレーニングシステムを構築します:

1. トレーニングパイプラインの実装:

   • 明確なインターフェースを備えたモジュール式のトレーニングコード
   • ハイパーパラメータの最適化 (Optuna/Ray Tune)
   • 分散トレーニングのサポート (Horovod/PyTorch DDP)
   • 交差検証とアンサンブル戦略

2. 実験トラッキングの設定:

   • MLflow/Weights & Biases の統合
   • メトリクスのログ記録と可視化
   • アーティファクト管理 (モデル、プロット、データサンプル)
   • 実験の比較および分析ツール

3. モデルレジストリの統合:

   • バージョン管理とタグ付け戦略
   • モデルのメタデータとリネージ
   • プロモーションワークフロー (dev -> staging -> prod)
   • ロールバック手順

設定管理を備えた完全なトレーニングコードを提供してください。

subagent_type: python-pro prompt: | 以下からの ML コードを最適化して本番環境に対応させます: {phase2.ml-engineer.output}

重点領域:

1. コードの品質と構造:

   • 本番基準へのリファクタリング
   • 包括的なエラー処理の追加
   • 構造化フォーマットによる適切なログ記録の実装
   • 再利用可能なコンポーネントとユーティリティの作成

2. パフォーマンスの最適化:

   • ボトルネックのプロファイリングと最適化
   • キャッシュ戦略の実装
   • データの読み込みと前処理の最適化
   • 大規模トレーニングのためのメモリ管理

3. テストフレームワーク:

   • データ変換の単体テスト
   • パイプラインコンポーネントの統合テスト
   • モデル品質テスト (不変性、方向性)
   • パフォーマンスのリグレッションテスト

完全なテストカバレッジを備えた、本番環境に対応した保守可能なコードを提供してください。

フェーズ 3: 本番環境へのデプロイとサービング

subagent_type: mlops-engineer prompt: | 以下からのモデルの本番環境デプロイを設計します: {phase2.ml-engineer.output} 以下からの最適化されたコードを使用します: {phase2.python-pro.output}

実装要件:

1. モデルサービングインフラストラクチャ:

   • FastAPI/TorchServe による REST/gRPC API
   • バッチ予測パイプライン (Airflow/Kubeflow)
   • ストリーム処理 (Kafka/Kinesis 統合)
   • モデルサービングプラットフォーム (KServe/Seldon Core)

2. デプロイ戦略:

   • ゼロダウンタイムのためのブルーグリーンデプロイ
   • トラフィックスプリッティングによるカナリアリリース
   • 検証のためのシャドウデプロイ
   • A/B テストインフラストラクチャ

3. CI/CD パイプライン:

   • GitHub Actions/GitLab CI ワークフロー
   • 自動テストゲート
   • デプロイ前のモデル検証
   • GitOps デプロイのための ArgoCD

4. Infrastructure as Code:

   • クラウドリソース用の Terraform モジュール
   • Kubernetes デプロイ用の Helm チャート
   • 最適化のための Docker マルチステージビルド
   • Vault/Secrets Manager によるシークレット管理

完全なデプロイ設定と自動化スクリプトを提供してください。

subagent_type: kubernetes-architect prompt: | 以下からの ML ワークロード用の Kubernetes インフラストラクチャを設計します: {phase3.mlops-engineer.output}

Kubernetes 固有の要件:

1. ワークロードのオーケストレーション:

   • Kubeflow によるトレーニングジョブのスケジューリング
   • GPU リソースの割り当てと共有
   • スポット/プリエンプティブルインスタンスの統合
   • 優先度クラスとリソースクォータ

2. サービングインフラストラクチャ:

   • 自動スケーリングのための HPA/VPA
   • イベント駆動型スケーリングのための KEDA
   • トラフィック管理のための Istio サービスメッシュ
   • モデルのキャッシュとウォームアップ戦略

3. ストレージとデータアクセス:

   • トレーニングデータ用の PVC 戦略
   • CSI ドライバーによるモデルアーティファクトのストレージ
   • フィーチャーストア用の分散ストレージ
   • 推論最適化のためのキャッシュレイヤー

ML プラットフォーム全体の Kubernetes マニフェストと Helm チャートを提供してください。

フェーズ 4：モニタリングと継続的な改善

subagent_type: observability-engineer prompt: | 次の環境にデプロイされた ML システムに包括的なモニタリングを実装します：{phase3.mlops-engineer.output} Kubernetes インフラストラクチャを使用します：{phase3.kubernetes-architect.output}

モニタリングのフレームワーク：

1. モデルパフォーマンスのモニタリング：

   • 予測精度の追跡
   • レイテンシとスループットのメトリクス
   • 特徴量の重要度の変化
   • ビジネス KPI との相関

2. データとモデルのドリフト検出：

   • 統計的なドリフト検出（KS 検定、PSI）
   • コンセプトドリフトのモニタリング
   • 特徴量分布の追跡
   • ドリフトの自動アラートとレポート

3. システムの可観測性：

   • すべてのコンポーネントの Prometheus メトリクス
   • 可視化用の Grafana ダッシュボード
   • Jaeger/Zipkin による分散トレーシング
   • ELK/Loki によるログ集約

4. アラートと自動化：

   • PagerDuty/Opsgenie との統合
   • 再トレーニングの自動トリガー
   • パフォーマンス低下時のワークフロー
   • インシデント対応ランブック

5. コスト追跡：

   • リソース使用率のメトリクス
   • モデル／実験別のコスト配分
   • 最適化の推奨事項
   • 予算アラートと制御

モニタリング設定、ダッシュボード、アラートルールを提供します。

設定オプション

• experiment_tracking: mlflow | wandb | neptune | clearml
• feature_store: feast | tecton | databricks | custom
• serving_platform: kserve | seldon | torchserve | triton
• orchestration: kubeflow | airflow | prefect | dagster
• cloud_provider: aws | azure | gcp | multi-cloud
• deployment_mode: realtime | batch | streaming | hybrid
• monitoring_stack: prometheus | datadog | newrelic | custom

成功基準

1. データパイプラインの成功：

   • 本番環境でのデータ品質の問題が 0.1% 未満
   • 自動データ検証の成功率が 99.9%
   • データリネージの完全な追跡
   • 特徴量のサービングレイテンシが 1 秒未満

2. モデルパフォーマンス：

   • ベースラインのメトリクスを達成または上回る
   • 再トレーニングまでのパフォーマンス低下が 5% 未満
   • 統計的有意性のある A/B テストの成功
   • 24 時間を超えて未検出のモデルドリフトがない

3. 運用の卓越性：

   • モデルサービングの稼働率 99.9%
   • p99 推論レイテンシが 200ms 未満
   • 5 分以内の自動ロールバック
   • アラート時間 1 分未満の完全な可観測性

4. 開発速度：

   • コミットから本番環境まで 1 時間未満
   • 実験の並列実行
   • 再現可能なトレーニング実行
   • セルフサービスによるモデルデプロイ

5. コスト効率：

   • インフラストラクチャの無駄が 20% 未満
   • リソース割り当ての最適化
   • 負荷に応じた自動スケーリング
   • スポットインスタンスの利用率が 60% 超

最終成果物

完了すると、オーケストレーションされたパイプラインにより、以下が提供されます：

• 完全に自動化されたエンドツーエンドの ML パイプライン
• 包括的なドキュメントとランブック
• 本番環境に対応した Infrastructure as Code
• 完全なモニタリングおよびアラートシステム
• 継続的改善のための CI/CD パイプライン
• コスト最適化およびスケーリング戦略
• 災害復旧およびロールバック手順