ai-mlops

MLOps 与 LLMOps——生产运营中心

**运营原则：**为每个可变更的制品添加版本；每次发布都必须通过 CI 中的回归评估套件；使用 OpenTelemetry 为整个链路添加监测（固定所发出的 GenAI 语义约定架构版本）；将工具和 RAG 上下文视为不可信输入；并在上线前准备好回滚方案和事件处理手册。

何时使用此技能

用户提出以下需求时，启用此技能：

• 将 ML、LLM、RAG 或由 Agent 支持的系统部署到生产环境
• 设计服务、批处理、混合或多区域运行时架构
• 添加可观测性、漂移检测、告警、重新训练或发布门禁
• 编写事件处理手册、回滚计划或上线评审清单
• 将 LLM 系统迁移到新的模型、模型版本、提供商或 API 接口
• 加强 AI 系统的防护，抵御提示词注入、RAG 投毒、工具滥用或数据泄露
• 构建用于隐私、可审计性或受监管发布的治理制品
• 选择如何安全地管理提示词、模型制品、特征定义或 Agent 图
• 诊断 ML 系统的变更为何不断引发连锁影响：耦合、纠正级联、未声明的使用方、管道丛林或配置蔓延
• 管理公平性、隐私预算、人类监督、申诉、水印／来源证明、版权／记忆或环境控制
• 部署多模态图像、文档、音频、视频、视觉语言或扩散系统，并对媒体摄取、安全性、延迟和成本设定边界

范围边界

• EDA、特征工程、训练、SQL 转换 -> ai-ml-data-science
• 提示词策略 -> ai-prompt-engineering；评估设计 -> ai-evals
• 微调及其投资回报 -> ai-llm；偏好／RL 后训练 -> ai-post-training
• 检索架构、分块、重排序、搜索质量 -> ai-rag
• 延迟、批处理、量化、GPU 服务内部机制 -> ai-llm-inference
• 深度 Agent 架构、MCP 服务设计、交接、记忆 -> ai-agents

请将此技能聚焦于运营生产系统：在架构建成后，或在为其定义生产控制措施时使用。

快速参考

任务	默认工具链 / 模式	适用场景
数据摄取	dlt + contracts + lineage	API、CDC、数据仓库加载、增量同步
批量评分	Airflow、Dagster、Prefect	高容量评分、回填、延迟标签
实时服务	FastAPI、gRPC、KServe、BentoML	有明确 SLO 的低延迟 API
大模型服务	vLLM；仅在模型或功能需要时使用 SGLang	高吞吐文本生成端点；TGI 处于维护模式，因此不要用它启动新的部署
注册表 / 晋级	MLflow、W&B、ZenML；通过别名（champion/challenger）晋级，而非通过阶段	版本管理、审批、回滚、血缘
特征一致性	Feast / 托管特征存储	批处理与在线的一致性，以及时间点正确性
可观测性	OpenTelemetry + Prometheus/Grafana	跟踪、指标、告警、成本和延迟预算
OTel GenAI 约定	固定所发出的语义约定（semconv）架构版本	在依赖属性名称之前，检查 OpenTelemetry semantic-conventions 项目中这些约定的稳定性状态和位置
漂移 / 重新训练	统计监控 + 受控 CT	检测变化并触发受控的重新训练
训练任务编排	Ray、Slurm、云训练队列（SageMaker Jobs、Vertex）	排队 / 调度微调与评估任务；避免 GPU 费用失控
成本分摊 / 展示	按团队或模型进行资源标记 + 成本仪表板	将大模型 API、GPU 和存储成本分摊到业务部门
作为 CI 门禁的评估	在 CI 中阻止模型 / 提示词部署的回归评估套件	大模型裁判：根据人工标注的金标集校准（裁判会漂移）
Agent 运行时运维	跟踪 Span + 工具审批 + 审计日志	使用工具的 Agent、MCP 工具、审批流程
安全 / 治理	威胁模型 + 策略检查清单 + 运行手册	生成式 AI 加固、隐私、AI Act、事件准备

默认工作流

1. 使用下方的决策树选择运行模式。
2. 定义发布制品：模型 / 提示词版本、负责人、回滚目标、评估报告、运行手册。
3. 先完成检测埋点：跟踪、请求 ID、模型 / 提示词 / 工具版本、延迟 / 成本预算。
4. 添加策略门禁：安全审查、隐私控制、AI 风险说明、审批流程。
5. 逐步发布：影子流量 -> 金丝雀发布 -> 扩大流量，并设置自动回滚条件。
6. 完成闭环：告警、事件运行手册、反馈收集、重新训练或退役触发条件。

决策树：选择运行模式

Need to operate an AI system in production:
    ├─ Primary workload is data movement?
    │   ├─ APIs / SaaS syncs -> dlt ingestion + contracts + freshness alerts
    │   ├─ Database replication -> CDC / incremental sync + lineage + replay plan
    │   └─ Streaming events -> queue/stream path + backpressure + schema control
    │
    ├─ Primary workload is inference?
    │   ├─ Scheduled / offline -> batch scoring pipeline
    │   ├─ Latency-sensitive API -> online service with SLOs, timeouts, rollback target
    │   └─ Mix of both -> hybrid deployment + shared registry + feature parity
    │
    ├─ System includes LLM or RAG?
    │   ├─ Yes -> prompt/config versioning + token/cost budgets + safety gates
    │   └─ RAG -> retrieval ACLs + poisoning defenses + answerability / citation checks
    │
    ├─ System includes tool-using agents?
    │   ├─ Yes -> approval gates + least-privilege tools + trace tool calls
    │   └─ MCP tools -> auth + audit + semantic telemetry for MCP sessions and tools
    │
    └─ Need regulated or multi-region rollout?
        ├─ Yes -> residency, tenant isolation, audit evidence, rollback by region
        └─ No -> single-region rollout with standard incident and rollback controls

运行规则

• 优先使用 OpenTelemetry：使用 OTel GenAI（以及在适用情况下的 MCP）语义约定，统一请求、提示词、模型、工具和 MCP 交互的追踪与指标。固定所用约定的确切架构版本或提交，并将其记录到遥测数据中；发布前，请在 OpenTelemetry 项目中检查这些约定的稳定性状态，因为实验性属性名称会变更，而依赖这些名称构建的仪表板可能会悄然失效。
• 将评估作为 CI 门禁：每次模型、提示词、功能、检索或 Agent 图变更，都必须通过回归评估套件才能部署。本技能负责接入流程：门禁在 CI 中的运行位置、会阻止部署的情形，以及回滚路径（online-evaluation-patterns.md）。套件设计、根据人工标签校准 LLM 评审，以及阈值设定，属于 ai-evals。
• 将检索内容和工具视为不可信：RAG 上下文、工具输出、外部 API 和 MCP 服务都需要隔离、验证和审计日志。
• 为完整运行时进行版本管理：包括模型制品、特征定义、提示词/配置、安全策略、工具架构和 Agent 图。
• 通过别名而非阶段进行晋级：让服务指向注册表别名（@champion、@challenger），并通过移动别名来晋级或回滚；切勿让生命周期阶段或“最新版本”决定实际提供服务的内容。请查阅注册表文档，了解别名的命名和保护方式。
• 服务引擎版本升级属于迁移工作：引擎标志、已弃用的执行路径和语义差异（对数概率、采样默认值）属于 ai-llm-inference；在此处，应将引擎升级视为模型变更，并纳入相同的评估门禁和金丝雀发布流程。
• 监管时间安排应查阅资料，而非凭记忆判断：确定合规路线图前，应阅读法规的官方公报文本，以及监管机构针对系统风险等级所适用义务制定的实施时间表，并将“政治上达成一致”或“已通过”与“已生效”区别对待。权威的 AI Act 说明及其查阅步骤位于 startup-compliance-enterprise-readiness regulatory-overlays。

金丝雀晋级门禁

变更生产流量前，先明确离线阻断条件、影子检查、金丝雀用户群、观察窗口、回滚触发条件和责任人。只有当模型质量、特征或检索偏移、延迟、错误、成本和安全指标都符合各自切片的阈值，且回滚路径已在演练中恢复先前的完整运行时时，才可晋级。端点健康或注册表别名变更只能证明已完成部署，不能证明生产环境中的实际行为。

已知陷阱

• 在尚无监测手段判断故障原因时，就发布模型、提示词或 Agent 变更。
• 只对模型制品进行版本管理，而提示词配置、工具架构、安全策略或检索契约却在流程之外发生变更。
• 将安全事件视为普通运行时故障，却没有专门的升级路径、证据留存或责任人。
• 构建再训练触发机制，却没有受门禁控制的晋级步骤、回滚目标或影子评估。
• 认为一份全局运行手册能同样妥善地应对 ML、RAG 和 Agent 故障，而不考虑影响范围和证据要求的差异。

脚本

脚本	用途
scripts/drift_check.py	根据各分箱计数计算 PSI 和 KL，并进行稀疏分箱合并、平滑处理，以及按特征设置无偏移噪声下限（随着窗口增大，PSI 噪声会减小）。遇到 ALERT 时退出码为 1，输入无效时退出码为 2。
scripts/deployment_smoke_test.sh	用于 OpenAI 兼容端点的影子/金丝雀冒烟验证器：检查健康状态、模型列表、经 JSON 解析的聊天内容和 finish_reason，以及延迟。默认失败关闭：每项预期检查都必须报告结果。

导航

发布与架构

• 数据摄取模式 - 用于契约、CDC、增量加载、血缘、重放和架构演进。
• 部署模式 - 用于选择批处理、在线、混合或流式部署模式。
• 部署生命周期 - 用于推广、发布、回滚和退役工作流。
• 模型与提供方迁移 - 更换大模型、版本、提供方或 API 接口时使用：契约清单、API 接口对比、评估重放、金丝雀发布和回滚触发条件。
• 模型注册表模式 - 用于元数据、制品打包和推广治理。
• 特征存储模式 - 用于批处理与在线的一致性、延迟预算和时间点正确性。
• 多区域模式 - 用于数据驻留、故障转移、灾难恢复和区域回滚。
• ML 技术债务分类 - 用于诊断边界侵蚀/CACHE、纠正级联、未声明的使用方、数据/配置/流水线债务及反馈循环，并为每项提供检测信号和缓解措施。

可观测性、评估与成本

• 监控最佳实践 - 用于 SLO、告警路由、仪表板和生产指标覆盖范围。包含 OTel GenAI 成熟度注意事项。
• 漂移检测指南 - 用于应对特征、标签、概念和嵌入漂移。
• 自动化再训练模式 - 用于触发条件选择、验证门控、安全的再训练发布，以及训练任务队列/调度器指南。
• 在线评估接入 - 用于在 CI/CD 中设置评估门控、接入发布与回滚流程，以及记录反馈；实验和评判器设计的链接指向 ai-evals。
• 实验跟踪模式 - 用于运行命名、制品保留、注册表交接和可审计性。
• ML 成本杠杆 - 用于 ML 专属的成本杠杆（标记、抢占式实例检查点间隔、再训练频率、调优预算、GPU 利用率）；承诺、预算和分摊计费请参阅 ops-cost-optimization。
• 事件响应手册 - 用于首次响应步骤、分诊流程和事后复盘覆盖范围。
• AgentOps 模式 - 用于 Agent 跟踪、重放、工具调用遥测和运行时调试。

安全与治理

• 威胁模型 - 优先使用此文档确定信任边界；它将每项威胁映射到对应的参考文档。
• 工具治理、审批路径、状态隔离、输出过滤 -> ai-agents guardrails-implementation
• 提示词注入和越狱测试覆盖 -> qa-agent-testing prompt-injection-testing
• RAG 投毒、检索 ACL、上下文清理 -> ai-rag security-red-team-cases
• 模型提取防御 - 用于查询滥用检测、速率调整和能力窃取防御。
• 隐私保护 - 用于 PII 处理、保留、脱敏和最小化。
• 模型和数据制品供应链（哈希固定、安全格式、签名） -> software-security-appsec supply-chain-security
• 安全评估 - 用于红队测试套件、泄漏测试和拒绝评估。
• 治理清单 - 用于模型卡、政策证据、审计材料和合规交接。

API 与运行时接口

• API 设计模式 - 用于推理契约、JSON/gRPC 接口和可靠性控制。
• LLM 与 RAG 生产模式 - 用于提示词/配置生命周期、缓存、回退策略和运行时监控。
• 边缘 MLOps 模式 - 用于 TinyML、OTA 部署、设备遥测和间歇性连接。

模板

数据摄取与部署

• dlt 基础管道设置 - 基础提取和加载管道。
• dlt REST API 数据源 - 支持分页、身份验证和速率限制处理的 REST 数据摄取。
• dlt 数据库数据源 - 数据库复制模式。
• dlt 增量加载 - 时间戳、ID、合并和回溯模式。
• dlt 数仓加载 - 数仓目标模式。
• 部署与 MLOps 模板 - 完整的生产运行规范。
• 部署就绪检查清单 - 发布前的放行/不放行关卡。
• API 服务模板 - 实时推理 API 框架。
• 批量评分管道模板 - 编排式离线评分工作流。

监控与事件

• 监控与告警模板 - 仪表板、SLO 和告警。
• 漂移检测与重新训练模板 - 触发、验证和升级重新训练流程。
• 事件处理手册模板 - 通用可靠性事件响应。
• 安全事件处理手册 - 生成式 AI 安全升级工作流。
• 越狱调查模板 - 针对提示词/安全绕过的事件后分析。

安全、隐私与治理

• 安全提示词模板 - 基础安全系统提示词框架。
• 输出过滤器模板 - 生成后的过滤策略。
• 护栏配置模板 - 配置前置／后置过滤器和严重程度处理机制。
• PII 处理模板 - 敏感输入的数据处理和日志记录规则。
• 数据匿名化模板 - 屏蔽和去标识化工作流。
• 风险评估模板 - 交付阶段的风险登记表。
• 政策检查清单模板 - 运营政策控制和证据跟踪。
• 安全审计模板 - AI 部署安全审查工作表。

建议的时效性协议

当用户询问 MLOps／LLMOps 工具中最佳、最新、当前或仍然适用的选择时：

1. 从 data/sources.json 开始。
2. 使用官方文档和近期维护／发布信号核实当前状态。
3. 确认发布节奏、托管与可自托管方式、定价模式和托管服务可用性等易变信息。
4. 在回答中区分稳定的指导意见和具有时效性的建议。

比较工具时至少需要核实以下内容：

• 最新的有效文档或发布信号
• 当前的维护情况／生态发展势头
• 托管与可自托管的部署方式
• 遥测、评估和治理支持
• 锁定风险或数据驻留限制

外部来源

有关精选参考资料，请参阅 data/sources.json，其中包括：

• EU AI Act 和 NIST 治理基线
• OpenTelemetry GenAI 和 MCP 语义约定
• MCP 授权指南
• OWASP GenAI 和 Agentic AI 安全参考资料
• 有关注册表、特征存储、编排、服务和可观测性的供应商文档

有关负责任的多模态运营，请从 references/responsible-multimodal-operations.md 开始：发布证据、隐私／公平性控制、投毒响应、监督与申诉、来源追溯、环境核算、媒体摄取、多模态安全、容量和事件。

相关技能

• ai-ml-data-science - 构建并验证模型或特征流水线。
• ai-llm - 调整模型（SFT、PEFT、蒸馏）。
• ai-post-training - 基于奖励信号进行偏好优化和强化学习。
• ai-prompt-engineering / ai-evals - 提示词策略和评估设计。
• ai-rag - 设计检索和搜索质量系统。
• ai-llm-inference - 优化底层服务性能。
• ai-agents - 设计 Agent 控制流、MCP 服务、交接和记忆。
• data-lake-platform - 更广泛的数据湖仓、Kafka 和数据仓库基础设施。
• qa-observability - 深入实现跨系统可观测性。
• ops-devops-platform - 深入开展平台运营和基础设施推广。
• ops-cost-optimization - 承诺、预算、异常警报、成本分摊／展示和 API 成本控制。
• huggingface-trackio（外部 huggingface-skills: 插件）- 使用 Trackio 跟踪 Hugging Face 实验。

经验循环

如果之前的决策或注意事项与当前任务相关，请查阅 learnings.consolidated.md（如果存在）；仅在需要查看历史记录或没有其他文件可用时，才查阅 learnings.md。否则，请跳过这两个文件。

应用相关经验后，如果你遇到了值得记住的模式、值得避免的错误，或令人意外的领域事实，请通过 agents-skills-feedback-loop/scripts/append_learning.py 向 learnings.md 追加一条带日期的条目。不要修改 SKILL.md 本身。