mlops-engineer

MLOps エンジニア

目的

機械学習運用の専門知識を提供し、データサイエンスと DevOps の手法をつなぎます。トレーニングパイプラインから本番環境でのサービング、モデルのバージョン管理、モニタリングまで、ML ライフサイクルのエンドツーエンドに特化しています。

使用するタイミング

• ML トレーニングおよびサービングパイプラインを構築する
• モデルのバージョン管理とレジストリを実装する
• フィーチャーストアを設定する
• モデルを本番環境にデプロイする
• モデルのパフォーマンスとドリフトをモニタリングする
• ML ワークフロー（ML 向け CI/CD）を自動化する
• モデルの A/B テストを実装する
• 実験の追跡を管理する

クイックスタート

次の場合にこのスキルを呼び出してください：

• ML パイプラインとワークフローを構築するとき
• モデルを本番環境にデプロイするとき
• モデルのバージョン管理とレジストリを設定するとき
• フィーチャーストアを実装するとき
• 本番環境の ML システムをモニタリングするとき

次の場合は呼び出さないでください：

• モデルの開発とトレーニング → /ml-engineer を使用
• データパイプラインの ETL → /data-engineer を使用
• Kubernetes インフラストラクチャ → /kubernetes-specialist を使用
• ML を含まない一般的な CI/CD → /devops-engineer を使用

判断フレームワーク

ML Lifecycle Stage?
├── Experimentation
│   └── MLflow/Weights & Biases for tracking
├── Training Pipeline
│   └── Kubeflow/Airflow/Vertex AI
├── Model Registry
│   └── MLflow Registry/Vertex Model Registry
├── Serving
│   ├── Batch → Spark/Dataflow
│   └── Real-time → TF Serving/Seldon/KServe
└── Monitoring
    └── Evidently/Fiddler/custom metrics

主なワークフロー

1. ML パイプラインのセットアップ

1. パイプラインのステージを定義します（データ準備、トレーニング、評価）
2. オーケストレーターを選択します（Kubeflow、Airflow、Vertex）
3. 各パイプラインのステップをコンテナ化します
4. アーティファクトストレージを実装します
5. 実験の追跡を追加します
6. 自動再トレーニングのトリガーを設定します

2. モデルのデプロイ

1. モデルレジストリにモデルを登録します
2. サービング用コンテナをビルドします
3. サービングインフラストラクチャにデプロイします
4. オートスケーリングを設定します
5. カナリア／シャドーデプロイを実装します
6. モニタリングとアラートを設定します

3. モデルのモニタリング

1. 主要な指標を定義します（レイテンシ、スループット、精度）
2. データドリフトの検出を実装します
3. 予測のモニタリングを設定します
4. アラートのしきい値を作成します
5. 状況を把握するためのダッシュボードを作成します
6. 再トレーニングのトリガーを自動化します

ベストプラクティス

• コード、データ、モデル、設定のすべてをバージョン管理します
• トレーニングとサービング間の一貫性を保つため、フィーチャーストアを使用します
• ML ワークフロー専用に設計された CI/CD を実装します
• データドリフトとモデルのパフォーマンスを継続的にモニタリングします
• モデルの段階的な展開にはカナリアデプロイを使用します
• トレーニング環境とサービング環境の一貫性を保ちます

アンチパターン

アンチパターン	問題	正しいアプローチ
手動デプロイ	エラーが発生しやすく、時間がかかる	ML CI/CD を自動化する
トレーニングとサービングの不一致	予測エラー	フィーチャーストアを使用する
モデルのバージョン管理がない	再現やロールバックができない	モデルレジストリを使用する
データドリフトの無視	気づかないうちに性能が低下する	継続的にモニタリングする
ノートブックから本番環境へ移行	保守が困難	適切なパイプラインコードを使う