machine-learning-ops-ml-pipeline

机器学习流水线 - 多 Agent MLOps 编排

为以下内容设计并实现完整的 ML 流水线：$ARGUMENTS

适用场景

• 处理机器学习流水线 - 多 Agent MLOps 编排相关任务或工作流
• 需要机器学习流水线 - 多 Agent MLOps 编排方面的指导、最佳实践或检查清单

不适用场景

• 任务与机器学习流水线 - 多 Agent MLOps 编排无关
• 需要使用此范围之外的其他领域或工具

说明

• 明确目标、约束和所需输入。
• 应用相关最佳实践并验证结果。
• 提供可执行的步骤和验证方法。

思路

此工作流将多个专业 Agent 编排起来，按照现代 MLOps 最佳实践构建可用于生产环境的 ML 流水线。此方法强调：

• 分阶段协作：每个阶段都基于前一阶段的输出，并在 Agent 之间明确交接
• 集成现代工具：使用 MLflow/W&B 管理实验，使用 Feast/Tecton 管理特征，使用 KServe/Seldon 提供服务
• 生产优先：每个组件都针对可扩展性、监控和可靠性进行设计
• 可复现性：对数据、模型和基础设施进行版本控制
• 持续改进：自动重新训练、A/B 测试和漂移检测

多 Agent 方法可确保各个方面由领域专家负责：

• 数据工程师负责数据摄取和质量
• 数据科学家负责特征和实验设计
• ML 工程师负责实现训练流水线
• MLOps 工程师负责生产部署
• 可观测性工程师负责确保监控到位

阶段 1：数据与需求分析

subagent_type: data-engineer prompt: | 根据以下需求，为 ML 系统分析并设计数据流水线：$ARGUMENTS

交付内容：

1. 数据源审计和摄取策略：

   • 源系统和连接模式
   • 使用 Pydantic/Great Expectations 验证架构
   • 使用 DVC 或 lakeFS 管理数据版本
   • 增量加载和 CDC 策略

2. 数据质量框架：

   • 生成数据剖析结果和统计信息
   • 异常检测规则
   • 数据沿袭跟踪
   • 质量门禁和 SLA

3. 存储架构：

   • 原始/处理后/特征层
   • 分区策略
   • 保留策略
   • 成本优化

为关键组件和集成模式提供实现代码。

subagent_type: data-scientist prompt: | 为以下内容设计特征工程和模型需求：$ARGUMENTS 使用以下数据架构：{phase1.data-engineer.output}

交付内容：

1. 特征工程流水线：

   • 转换规范
   • 特征存储架构（Feast/Tecton）
   • 统计验证规则
   • 缺失数据/离群值处理策略

2. 模型需求：

   • 算法选择理由
   • 性能指标和基线
   • 训练数据要求
   • 评估标准和阈值

3. 实验设计：

   • 假设和成功指标
   • A/B 测试方法
   • 样本量计算
   • 偏差检测方法

包含特征转换代码和统计验证逻辑。

阶段 2：模型开发与训练

subagent_type: ml-engineer prompt: | 根据需求实现训练流水线：{phase1.data-scientist.output} 使用数据流水线：{phase1.data-engineer.output}

构建完整的训练系统：

1. 训练流水线实现：

   • 具有清晰接口的模块化训练代码
   • 超参数优化（Optuna/Ray Tune）
   • 分布式训练支持（Horovod/PyTorch DDP）
   • 交叉验证与集成策略

2. 实验跟踪设置：

   • MLflow/Weights & Biases 集成
   • 指标记录与可视化
   • 制品管理（模型、图表、数据样本）
   • 实验对比与分析工具

3. 模型注册表集成：

   • 版本控制与标签策略
   • 模型元数据与血缘
   • 晋升工作流（dev -> staging -> prod）
   • 回滚流程

提供包含配置管理的完整训练代码。

subagent_type: python-pro prompt: | 优化并将 ML 代码产品化，来源：{phase2.ml-engineer.output}

重点关注领域：

1. 代码质量与结构：

   • 按生产标准重构
   • 添加全面的错误处理
   • 使用结构化格式实现恰当的日志记录
   • 创建可复用的组件与工具

2. 性能优化：

   • 分析并优化瓶颈
   • 实现缓存策略
   • 优化数据加载与预处理
   • 大规模训练的内存管理

3. 测试框架：

   • 数据转换的单元测试
   • 流水线组件的集成测试
   • 模型质量测试（不变性、方向性）
   • 性能回归测试

交付生产就绪、可维护且具有完整测试覆盖的代码。

阶段 3：生产部署与服务

subagent_type: mlops-engineer prompt: | 为以下模型设计生产部署，来源：{phase2.ml-engineer.output} 使用以下优化后的代码，来源：{phase2.python-pro.output}

实现要求：

1. 模型服务基础设施：

   • 使用 FastAPI/TorchServe 的 REST/gRPC API
   • 批量预测流水线（Airflow/Kubeflow）
   • 流处理（Kafka/Kinesis 集成）
   • 模型服务平台（KServe/Seldon Core）

2. 部署策略：

   • 蓝绿部署以实现零停机
   • 带流量切分的金丝雀发布
   • 用于验证的影子部署
   • A/B 测试基础设施

3. CI/CD 流水线：

   • GitHub Actions/GitLab CI 工作流
   • 自动化测试门禁
   • 部署前的模型验证
   • 用于 GitOps 部署的 ArgoCD

4. 基础设施即代码：

   • 用于云资源的 Terraform 模块
   • 用于 Kubernetes 部署的 Helm chart
   • 用于优化的 Docker 多阶段构建
   • 使用 Vault/Secrets Manager 的密钥管理

提供完整的部署配置与自动化脚本。

subagent_type: kubernetes-architect prompt: | 为以下 ML 工作负载设计 Kubernetes 基础设施，来源：{phase3.mlops-engineer.output}

Kubernetes 特定要求：

1. 工作负载编排：

   • 使用 Kubeflow 进行训练任务调度
   • GPU 资源分配与共享
   • Spot/可抢占实例集成
   • 优先级类与资源配额

2. 服务基础设施：

   • 用于自动扩缩容的 HPA/VPA
   • 用于事件驱动扩缩容的 KEDA
   • 用于流量管理的 Istio 服务网格
   • 模型缓存与预热策略

3. 存储与数据访问：

   • 用于训练数据的 PVC 策略
   • 使用 CSI 驱动的模型制品存储
   • 用于特征存储的分布式存储
   • 用于推理优化的缓存层

为整个 ML 平台提供 Kubernetes 清单与 Helm chart。

第 4 阶段：监控与持续改进

subagent_type: observability-engineer prompt: | 为部署在以下环境中的 ML 系统实施全面监控：{phase3.mlops-engineer.output} 使用 Kubernetes 基础设施：{phase3.kubernetes-architect.output}

监控框架：

1. 模型性能监控：

   • 预测准确率跟踪
   • 延迟和吞吐量指标
   • 特征重要性变化
   • 业务 KPI 相关性

2. 数据和模型漂移检测：

   • 统计漂移检测（KS 检验、PSI）
   • 概念漂移监控
   • 特征分布跟踪
   • 自动漂移警报和报告

3. 系统可观测性：

   • 为所有组件提供 Prometheus 指标
   • 使用 Grafana 仪表板进行可视化
   • 使用 Jaeger/Zipkin 进行分布式追踪
   • 使用 ELK/Loki 进行日志聚合

4. 警报与自动化：

   • 集成 PagerDuty/Opsgenie
   • 自动重新训练触发器
   • 性能下降工作流
   • 事件响应操作手册

5. 成本跟踪：

   • 资源利用率指标
   • 按模型/实验分配成本
   • 优化建议
   • 预算警报和控制

提供监控配置、仪表板和警报规则。

配置选项

• experiment_tracking：mlflow | wandb | neptune | clearml
• feature_store：feast | tecton | databricks | custom
• serving_platform：kserve | seldon | torchserve | triton
• orchestration：kubeflow | airflow | prefect | dagster
• cloud_provider：aws | azure | gcp | multi-cloud
• deployment_mode：realtime | batch | streaming | hybrid
• monitoring_stack：prometheus | datadog | newrelic | custom

成功标准

1. 数据管道成功：

   • 生产环境中的数据质量问题 < 0.1%
   • 自动数据验证有 99.9% 的时间通过
   • 完整跟踪数据血缘
   • 特征服务延迟低于 1 秒

2. 模型性能：

   • 达到或超过基准指标
   • 重新训练前性能下降 < 5%
   • A/B 测试成功且具有统计显著性
   • 不存在超过 24 小时未检测到的模型漂移

3. 卓越运营：

   • 模型服务正常运行时间达 99.9%
   • p99 推理延迟 < 200ms
   • 在 5 分钟内自动回滚
   • 实现完整可观测性，警报时间 < 1 分钟

4. 开发速度：

   • 从提交到生产环境 < 1 小时
   • 并行执行实验
   • 训练运行可复现
   • 自助式模型部署

5. 成本效益：

   • 基础设施浪费 < 20%
   • 优化资源分配
   • 根据负载自动扩缩容
   • Spot 实例利用率 > 60%

最终交付成果

完成后，编排后的管道将提供：

• 端到端的 ML 管道，具备全面自动化能力
• 完整的文档和操作手册
• 可用于生产环境的基础设施即代码
• 完整的监控和警报系统
• 用于持续改进的 CI/CD 管道
• 成本优化和扩缩容策略
• 灾难恢复和回滚流程