mcpField
M
machine-learning-ops-ml-pipeline

machine-learning-ops-ml-pipeline

github.com/sickn33数据与数据库48.7k491 次安装今天更新
代码仓库

关于 machine-learning-ops-ml-pipeline

为数据工程、数据科学和 MLOps 任务提供分阶段的多 Agent ML 流水线设计与实施指导，涵盖数据准备、训练、部署和监控。内容强调验证、可复现性及生产环境风险边界。

主要功能

  1. 01分阶段协调专业 Agent
  2. 02规划数据质量与特征工程
  3. 03设计训练和实验跟踪
  4. 04规划模型部署与监控
  5. 05强调验证、回滚和数据治理

适用场景

  1. 01制定端到端机器学习流水线
  2. 02梳理训练与部署阶段的职责
  3. 03规划漂移监测和模型回滚

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/sickn33/agentic-awesome-skills --skill machine-learning-ops-ml-pipeline

安装后在 Claude Code 中输入/machine-learning-ops-ml-pipeline确认已加载。

详细介绍

机器学习流水线 - 多 Agent MLOps 编排

为以下内容设计并实现完整的 ML 流水线：$ARGUMENTS

使用此技能的场景

  • 处理机器学习流水线 - 多 Agent MLOps 编排相关任务或工作流
  • 需要机器学习流水线 - 多 Agent MLOps 编排方面的指导、最佳实践或检查清单

不要使用此技能的场景

  • 任务与机器学习流水线 - 多 Agent MLOps 编排无关
  • 需要此范围之外的其他领域或工具

说明

  • 明确目标、约束和必需输入。
  • 应用相关最佳实践并验证结果。
  • 提供可执行的步骤和验证方法。

思路

此工作流通过编排多个专业 Agent，按照现代 MLOps 最佳实践构建可用于生产环境的 ML 流水线。此方法强调：

  • 分阶段协作：每个阶段基于之前的产出推进，并在 Agent 之间明确交接
  • 集成现代工具：使用 MLflow/W&B 管理实验，使用 Feast/Tecton 管理特征，使用 KServe/Seldon 提供服务
  • 生产优先：每个组件均针对可扩展性、监控和可靠性进行设计
  • 可复现性：对数据、模型和基础设施进行版本控制
  • 持续改进：自动重新训练、A/B 测试和漂移检测

多 Agent 方法确保每个方面均由领域专家负责：

  • 数据工程师负责数据摄取和质量
  • 数据科学家负责设计特征和实验
  • ML 工程师负责实现训练流水线
  • MLOps 工程师负责生产部署
  • 可观测性工程师负责监控

可实施范围与证据

将 $ARGUMENTS 替换为边界明确的目标，并注明数据权利、预测单位、目标时间窗口、基线和验收指标。任务/子 Agent 块及阶段引用是编排伪代码，并非可执行工具；只能使用已授权且可用的委派方式，并明确交接。拟合转换前应按时间/实体拆分数据，以防止数据泄漏；保留数据沿袭，并留出未使用的测试集。将数据集发送到外部或提供方、使用 GPU、发送告警或部署之前，必须获得批准。漂移告警不是诊断结论，也不能自动成为推广重新训练模型的理由：应根据固定基线评估准确率/校准度/公平性、延迟标签和回滚方案。下方的数值成功目标仅供示例参考，并非普遍保证或已观察到的结果。记录实际测试/制品和未解决的风险；仅生成配置并不代表已具备生产就绪性或实现了全面覆盖。

阶段 1：数据与需求分析

subagent_type: data-engineer prompt: | 根据以下需求分析并设计 ML 系统的数据管道：$ARGUMENTS

交付内容：

  1. 数据源审计和摄取策略：

    • 源系统和连接模式
    • 使用 Pydantic/Great Expectations 进行架构验证
    • 使用 DVC 或 lakeFS 进行数据版本管理
    • 增量加载和 CDC 策略

  2. 数据质量框架：

    • 生成数据分析和统计信息
    • 异常检测规则
    • 数据血缘追踪
    • 质量门禁和 SLA

  3. 存储架构：

    • 原始/处理后/特征层
    • 分区策略
    • 保留策略
    • 成本优化

为关键组件和集成模式提供实现代码。

subagent_type: data-scientist prompt: | 为以下内容设计特征工程和模型需求：$ARGUMENTS 使用以下数据架构：{phase1.data-engineer.output}

交付内容：

  1. 特征工程管道：

    • 转换规范
    • 特征库架构（Feast/Tecton）
    • 统计验证规则
    • 缺失数据/异常值处理策略

  2. 模型需求：

    • 算法选择理由
    • 性能指标和基线
    • 训练数据需求
    • 评估标准和阈值

  3. 实验设计：

    • 假设和成功指标
    • A/B 测试方法
    • 样本量计算
    • 偏差检测方法

包含特征转换代码和统计验证逻辑。

阶段 2：模型开发与训练

subagent_type: ml-engineer prompt: | 根据以下需求实现训练管道：{phase1.data-scientist.output} 使用以下数据管道：{phase1.data-engineer.output}

构建完整的训练系统：

  1. 训练管道实现：

    • 采用清晰接口的模块化训练代码
    • 超参数优化（Optuna/Ray Tune）
    • 支持分布式训练（Horovod/PyTorch DDP）
    • 交叉验证和集成策略

  2. 实验跟踪设置：

    • 集成 MLflow/Weights & Biases
    • 指标记录和可视化
    • 工件管理（模型、图表、数据样本）
    • 实验比较和分析工具

  3. 模型注册表集成：

    • 版本控制和标记策略
    • 模型元数据和血缘
    • 晋级工作流（dev -> staging -> prod）
    • 回滚流程

提供包含配置管理的完整训练代码。

subagent_type: python-pro prompt: | 优化并将以下 ML 代码投入生产：{phase2.ml-engineer.output}

重点领域：

  1. 代码质量和结构：

    • 按照生产标准进行重构
    • 添加全面的错误处理
    • 实现结构化格式的规范日志记录
    • 创建可复用组件和工具

  2. 性能优化：

    • 分析并优化瓶颈
    • 实现缓存策略
    • 优化数据加载和预处理
    • 管理大规模训练的内存

  3. 测试框架：

    • 数据转换单元测试
    • 管道组件集成测试
    • 模型质量测试（不变性、方向性）
    • 性能回归测试

提供可投入生产、易于维护且测试覆盖率完整的代码。

阶段 3：生产部署与服务

subagent_type: mlops-engineer prompt: | 为以下模型设计生产部署方案：{phase2.ml-engineer.output} 使用以下优化后的代码：{phase2.python-pro.output}

实施要求：

  1. 模型服务基础设施：

    • 使用 FastAPI/TorchServe 构建 REST/gRPC API
    • 批量预测流水线（Airflow/Kubeflow）
    • 流处理（集成 Kafka/Kinesis）
    • 模型服务平台（KServe/Seldon Core）

  2. 部署策略：

    • 蓝绿部署，实现零停机
    • 金丝雀发布，拆分流量
    • 影子部署，用于验证
    • A/B 测试基础设施

  3. CI/CD 流水线：

    • GitHub Actions/GitLab CI 工作流
    • 自动化测试门禁
    • 部署前进行模型验证
    • 使用 ArgoCD 进行 GitOps 部署

  4. 基础设施即代码：

    • 用于云资源的 Terraform 模块
    • 用于 Kubernetes 部署的 Helm chart
    • 用于优化的 Docker 多阶段构建
    • 使用 Vault/Secrets Manager 管理密钥

提供完整的部署配置和自动化脚本。

subagent_type: kubernetes-architect prompt: | 根据以下内容为 ML 工作负载设计 Kubernetes 基础设施：{phase3.mlops-engineer.output}

Kubernetes 专属要求：

  1. 工作负载编排：

    • 使用 Kubeflow 调度训练任务
    • GPU 资源分配与共享
    • 集成 Spot/可抢占实例
    • 优先级类和资源配额

  2. 服务基础设施：

    • 使用 HPA/VPA 自动扩缩容
    • 使用 KEDA 进行事件驱动扩缩容
    • 使用 Istio 服务网格管理流量
    • 模型缓存与预热策略

  3. 存储和数据访问：

    • 训练数据的 PVC 策略
    • 使用 CSI 驱动存储模型制品
    • 用于特征存储的分布式存储
    • 用于优化推理的缓存层

提供整个 ML 平台的 Kubernetes 清单和 Helm chart。

阶段 4：监控与持续改进

subagent_type: observability-engineer prompt: | 为部署在以下环境中的 ML 系统实施全面监控：{phase3.mlops-engineer.output} 使用以下 Kubernetes 基础设施：{phase3.kubernetes-architect.output}

监控框架：

  1. 模型性能监控：

    • 预测准确率跟踪
    • 延迟和吞吐量指标
    • 特征重要性变化
    • 业务 KPI 相关性

  2. 数据与模型漂移检测：

    • 统计漂移检测（KS 检验、PSI）
    • 概念漂移监控
    • 特征分布跟踪
    • 自动漂移警报和报告

  3. 系统可观测性：

    • 所有组件的 Prometheus 指标
    • 用于可视化的 Grafana 仪表板
    • 使用 Jaeger/Zipkin 进行分布式追踪
    • 使用 ELK/Loki 聚合日志

  4. 警报与自动化：

    • 集成 PagerDuty/Opsgenie
    • 自动触发重新训练
    • 性能下降工作流
    • 事件响应手册

  5. 成本跟踪：

    • 资源利用率指标
    • 按模型/实验分配成本
    • 优化建议
    • 预算警报和控制

提供监控配置、仪表板和警报规则。

配置选项

  • experiment_tracking：mlflow | wandb | neptune | clearml
  • feature_store：feast | tecton | databricks | custom
  • serving_platform：kserve | seldon | torchserve | triton
  • orchestration：kubeflow | airflow | prefect | dagster
  • cloud_provider：aws | azure | gcp | multi-cloud
  • deployment_mode：realtime | batch | streaming | hybrid
  • monitoring_stack：prometheus | datadog | newrelic | custom

成功标准

  1. 数据管道成功：

    • 生产环境中的数据质量问题 < 0.1%
    • 自动化数据验证通过率达到 99.9%
    • 完整追踪数据血缘
    • 特征服务延迟低于 1 秒

  2. 模型性能：

    • 达到或超过基线指标
    • 再训练前性能下降 < 5%
    • A/B 测试结果具有统计显著性
    • 无超过 24 小时未检测到的模型漂移

  3. 卓越运营：

    • 模型服务可用性达到 99.9%
    • p99 推理延迟 < 200ms
    • 在 5 分钟内自动回滚
    • 完整的可观测性，告警时间 < 1 分钟

  4. 开发速度：

    • 从提交到生产环境 < 1 小时
    • 并行执行实验
    • 训练运行可复现
    • 自助式模型部署

  5. 成本效率：

    • 基础设施浪费 < 20%
    • 优化资源分配
    • 根据负载自动扩缩容
    • Spot 实例利用率 > 60%

最终交付成果

完成后，编排后的管道将提供：

  • 端到端的 ML 管道，实现全面自动化
  • 完整的文档和运行手册
  • 可用于生产环境的基础设施即代码
  • 完整的监控和告警系统
  • 用于持续改进的 CI/CD 管道
  • 成本优化和扩缩容策略
  • 灾难恢复和回滚流程

示例

用户请求：

为以下内容设计并实现完整的 ML 管道：$ARGUMENTS。

限制

  • 仅当任务明确符合上述范围时才使用此技能。
  • 不要将输出视为针对特定环境进行验证、测试或专家审查的替代品。
  • 如果缺少必需的输入、权限、安全边界或成功标准，请停止并请求澄清。

评论

支持 Markdown