ml-pipeline-workflow

補足資料の入手可能性

このカタログの内容には、以下のインラインガイダンスが含まれていますが、次の補足パスは含まれていません。これらは外部の前提条件であり、同梱ファイルではありません。

• <support-root>/assets/pipeline-dag.yaml.template
• <support-root>/references/data-preparation.md
• <support-root>/references/model-training.md

これらのパスに依存する手順を使う前に、元の補足資料または既存のインストール環境を入手してください。このカタログでは、確認済みのダウンロード元を特定していません。各パスをそのインストール環境を基準に解決し、内容を確認して、該当するライセンスと実行の前提条件を検証してください。必要なファイルが存在することを確認するまでは、コマンドを実行したり、参照先の手順に従ったと主張したりしないでください。不足しているスクリプトを捏造したり、同じ名前の無関係なファイルを同等のものとして扱ったりしないでください。ここに完全な説明がある独立した手順は、ユーザーが許可した範囲内で実行できます。依存する手順は利用できないものとして報告してください。

ML Pipeline Workflow

データ準備からモデルのデプロイまで、エンドツーエンドの MLOps パイプラインオーケストレーションを実現します。

このスキルを使用しない場合

• タスクが ML パイプラインのワークフローに関係しない場合
• この範囲外の別のドメインやツールが必要な場合

手順

• 目標、制約、必要な入力を明確にします。
• 関連するベストプラクティスを適用し、結果を検証します。
• 実行可能な手順と検証方法を提示します。

概要

このスキルでは、データの取り込み → 準備 → トレーニング → 検証 → デプロイ → モニタリングというライフサイクル全体に対応する、本番環境向け ML パイプラインを構築するための包括的なガイダンスを提供します。

このスキルを使用する場合

• 新しい ML パイプラインを一から構築する
• ML システムのワークフローオーケストレーションを設計する
• データ → モデル → デプロイの自動化を実装する
• 再現可能なトレーニングワークフローを設定する
• DAG ベースの ML オーケストレーションを作成する
• ML コンポーネントを本番システムに統合する

このスキルが提供するもの

主な機能

1. パイプラインアーキテクチャ

   • エンドツーエンドのワークフロー設計
   • DAG オーケストレーションのパターン（Airflow、Dagster、Kubeflow）
   • コンポーネントの依存関係とデータフロー
   • エラー処理と再試行の戦略

2. データ準備

   • データの検証と品質チェック
   • 特徴量エンジニアリングのパイプライン
   • データのバージョン管理とリネージ
   • トレーニング／検証／テストの分割戦略

3. モデルのトレーニング

   • トレーニングジョブのオーケストレーション
   • ハイパーパラメーター管理
   • 実験トラッキングの統合
   • 分散トレーニングのパターン

4. モデルの検証

   • 検証フレームワークとメトリクス
   • A/B テストの基盤
   • パフォーマンスの回帰検出
   • モデル比較のワークフロー

5. デプロイの自動化

   • モデルサービングのパターン
   • カナリアデプロイ
   • ブルーグリーンデプロイの戦略
   • ロールバックの仕組み

リファレンスドキュメント

以下の上流リファレンスガイドはこのカタログツリーに同梱されていません。手順を利用する前に入手して内容を確認してください。

• data-preparation.md - データのクリーニング、検証、特徴量エンジニアリング
• model-training.md - トレーニングのワークフローとベストプラクティス
• model-validation.md - 検証戦略とメトリクス
• model-deployment.md - デプロイのパターンとサービングアーキテクチャ

アセットとテンプレート

以下の上流アセットはこのカタログツリーに同梱されていません。

• pipeline-dag.yaml.template - ワークフローオーケストレーション用の DAG テンプレート
• training-config.yaml - トレーニング設定テンプレート
• validation-checklist.md - デプロイ前の検証チェックリスト

使用パターン

基本的なパイプラインの設定

# 1. Define pipeline stages
stages = [
    "data_ingestion",
    "data_validation",
    "feature_engineering",
    "model_training",
    "model_validation",
    "model_deployment"
]

# 2. Configure dependencies
# See assets/pipeline-dag.yaml.template for full example

本番ワークフロー

1. データ準備フェーズ

   • ソースから生データを取り込む
   • データ品質チェックを実行する
   • 特徴量変換を適用する
   • 処理済みデータセットをバージョン管理する

2. トレーニングフェーズ

   • バージョン管理されたトレーニングデータを読み込む
   • トレーニングジョブを実行する
   • 実験とメトリクスを追跡する
   • トレーニング済みモデルを保存する

3. 検証フェーズ

   • 検証テストスイートを実行する
   • ベースラインと比較する
   • パフォーマンスレポートを生成する
   • デプロイを承認する

4. デプロイフェーズ

   • モデルアーティファクトをパッケージ化する
   • サービングインフラストラクチャにデプロイする
   • モニタリングを設定する
   • 本番トラフィックで検証する

評価の境界

実際の独立単位（エンティティや時間など）で分割し、前処理はトレーニングデータのみで適合させ、最終テストセットをチューニングに使用しないでください。データセット、コード、モデルアーティファクトを固定し、ベースラインメトリクスと不確実性を記録してください。クラウドでのトレーニング、外部実験トラッキング、デプロイには、データ共有とコストに関する承認が必要です。インライン YAML は概念上の DAG として扱い、そのまま実行できる Airflow／Kubeflow スキーマとして扱わないでください。

ベストプラクティス

パイプライン設計

• モジュール性：各ステージを個別にテストできるようにします
• 冪等性：ステージを再実行しても安全であるようにします
• 可観測性：各ステージでメトリクスを記録します
• バージョン管理：データ、コード、モデルの各バージョンを追跡します
• 障害処理：再試行ロジックとアラートを実装します

データ管理

• データ検証ライブラリ（Great Expectations、TFX）を使用します
• DVC などのツールでデータセットをバージョン管理します
• 特徴量エンジニアリング変換を文書化します
• データリネージの追跡を維持します

モデル運用

• トレーニングとサービングのインフラストラクチャを分離します
• モデルレジストリ（MLflow、Weights & Biases）を使用します
• 新しいモデルに段階的なロールアウトを実装します
• モデルのパフォーマンスドリフトをモニタリングします
• ロールバック機能を維持します

デプロイ戦略

• シャドーデプロイから始めます
• 検証にはカナリアリリースを使用します
• A/B テストのインフラストラクチャを実装します
• 自動ロールバックのトリガーを設定します
• レイテンシとスループットをモニタリングします

統合ポイント

オーケストレーションツール

• Apache Airflow：DAG ベースのワークフローオーケストレーション
• Dagster：アセットベースのパイプラインオーケストレーション
• Kubeflow Pipelines：Kubernetes ネイティブの ML ワークフロー
• Prefect：最新のデータフロー自動化

実験トラッキング

• 実験トラッキングとモデルレジストリには MLflow を使用します
• 可視化とコラボレーションには Weights & Biases を使用します
• トレーニングメトリクスには TensorBoard を使用します

デプロイプラットフォーム

• マネージド ML インフラストラクチャには AWS SageMaker を使用します
• GCP へのデプロイには Google Vertex AI を使用します
• Azure クラウドには Azure ML を使用します
• クラウドに依存しないサービングには Kubernetes + KServe を使用します

段階的な情報開示

基本から始め、徐々に複雑さを加えていきます。

1. レベル 1：シンプルな線形パイプライン（データ → トレーニング → デプロイ）
2. レベル 2：検証とモニタリングのステージを追加
3. レベル 3：ハイパーパラメータチューニングを実装
4. レベル 4：A/B テストと段階的なロールアウトを追加
5. レベル 5：アンサンブル戦略を用いたマルチモデルパイプライン

よく使われるパターン

バッチトレーニングパイプライン

# See assets/pipeline-dag.yaml.template
stages:
  - name: data_preparation
    dependencies: []
  - name: model_training
    dependencies: [data_preparation]
  - name: model_evaluation
    dependencies: [model_training]
  - name: model_deployment
    dependencies: [model_evaluation]

リアルタイム特徴量パイプライン

# Stream processing for real-time features
# Combined with batch training
# See references/data-preparation.md

継続的トレーニング

# Automated retraining on schedule
# Triggered by data drift detection
# See references/model-training.md

トラブルシューティング

よくある問題

• パイプラインの失敗：依存関係とデータの利用可能性を確認します
• トレーニングの不安定さ：ハイパーパラメータとデータ品質を見直します
• デプロイの問題：モデルアーティファクトとサービング設定を検証します
• パフォーマンスの低下：データドリフトとモデルメトリクスをモニタリングします

デバッグ手順

1. 各ステージのパイプラインログを確認する
2. 境界で入出力データを検証する
3. コンポーネントを個別にテストする
4. 実験トラッキングのメトリクスを確認する
5. モデルアーティファクトとメタデータを調べる

次のステップ

パイプラインを設定した後は、次の手順に進みます。

1. 最適化については hyperparameter-tuning スキルを確認します
2. MLflow／W&B については experiment-tracking-setup を学びます
3. サービング戦略については model-deployment-patterns を確認します
4. 可観測性ツールでモニタリングを実装します

関連スキル

• experiment-tracking-setup：MLflow と Weights & Biases の統合
• hyperparameter-tuning：ハイパーパラメーターの自動最適化
• model-deployment-patterns：高度なデプロイ戦略

制限事項

• タスクが上記の説明範囲に明確に該当する場合にのみ、このスキルを使用してください。
• 出力を、環境固有の検証、テスト、または専門家によるレビューの代わりとして扱わないでください。
• 必要な入力、権限、安全上の境界、または成功基準が不足している場合は、作業を中止して確認を求めてください。