agent-production-operations

agent-production-operations

用于将经过评估、配备工具的 Agent 纳入受控生产运行的运行时控制平面。此套件弥合了通过评估与安全投入生产使用之间的差距：它规定了如何对 Agent 进行版本管理、逐步发布、监控、约束、升级处理和停用，以及如何将生产证据反馈到评估和发布决策中。

此套件不会构建 Agent、设计评估、运行发布流水线或管理基础设施。它会组合现有专业技能来处理这些问题，只负责它们之间的运行时控制决策。

何时加载

在运行满足以下条件的 Agent 时加载此套件：

• 已通过评估，并获准考虑投入生产。
• 配备了具有副作用的工具和必须设限的委派权限。
• 需要分阶段发布，并逐步扩大权限。
• 必须在生产环境中监控成本、延迟、工具健康状况和权限使用情况。
• 需要明确的回退、升级处理和停用路径。
• 应将生产跟踪记录和事故反馈到评估用例和发布门槛更新中。

何时不使用

遇到以下情况时，不要加载此套件：

• 从头构建或设计 Agent——转至相应的框架技能（LangGraph、CrewAI、AutoGen 等）。
• 设计 Agent 评估或可观测性——转至 agent-evals-and-observability。
• 通用发布工程（CI/CD 流水线、制品晋级）——转至 release-engineering。
• 通用站点可靠性工程（事故响应、SLO 定义、错误预算）——转至 site-reliability-engineering。
• 通用安全工程（威胁建模、漏洞评估）——转至 secure-software-engineering。
• 通用平台基础设施（计算、网络、存储）——转至 platform-engineering。
• 执行生产就绪情况审查——转至 production-readiness；此套件会使用就绪情况评估结果，但不会生成这些结果。
• 开展事故复盘——转至 incident-learning；此套件会使用事故记录作为升级处理和反馈输入。

不假定自主程度一致

本工具包明确不假定所有 Agent 具有相同的自主程度、用户群体或副作用特征。Agent 配置文件按能力类别和副作用范围区分：

配置文件	示例	权限	升级触发条件	回退方案
只读	内部搜索 Agent	仅查询；不进行修改，不访问用户数据	不确定性超过阈值；结果质量下降	返回缓存的／静态结果
可产生副作用，内部使用	CI 分流机器人	发布 issue／PR 评论、管理标签、创建分支	时间窗口内工具失败率 > 5%；尝试越权	禁用工具，升级给人工处理
可产生副作用，面向客户	可访问账户的支持 Agent	读取 PII、建议操作；未经确认不得修改	未经明确同意访问任何 PII；成本超出预算 > 10%	降级为只读，立即升级处理

本工具包中的每项控制计划决策（权限、升级、回退、禁用）均根据 Agent 的自主程度配置。只读 Agent 与处理客户数据且可产生副作用的 Agent，适用不同的阈值和升级路径。

权限阈值以及维持／扩大／降低／暂停／撤销权限的决策，应由 ai-governance 支持的负责人类人员作出。运营证据和就绪情况是输入，而非授权。适用的政策上限、当前授权的到期／撤销状态以及外部执行机制，都会对每次执行构成约束。

运行时控制平面路由

本工具包组合使用以下专业技能。在相关领域成为当前关注重点时加载对应技能；跨领域协调由本工具包负责。

关注领域	专业技能	加载时机	本工具包的补充内容
Agent 评估与可观测性	agent-evals-and-observability	设计评估、为可观测性添加检测、发现回归	从追踪到评估的反馈闭环；根据生产事件生成评估用例
发布工程	release-engineering	设计发布流水线、提升制品、CI/CD	结合权限门控的 Agent 专属分阶段推出；将回滚触发条件与 Agent 健康状况挂钩
站点可靠性工程	site-reliability-engineering	事件响应、定义 SLO/SLI、错误预算	Agent 专属的延迟／成本预算；工具健康 SLO；升级时移交给事件指挥团队
安全工程	secure-software-engineering	威胁建模、信任边界验证、安全设计	带副作用边界的 Agent 权限契约；禁用安全措施（撤销权限，而非仅停止运行）
平台工程	platform-engineering	计算、网络、存储、服务基础设施	Agent 沙箱要求；工具执行隔离偏好
生产就绪	production-readiness	就绪评审、上线／不予上线／延期／例外决策	作为输入使用：就绪结果决定是否扩大 Agent 权限
事件学习	incident-learning	事后分析、验证结案、后续工作	作为输入使用：事件记录为升级阈值和评估用例生成提供依据

加载协议

此 SKILL.md 是可发现的总入口。本包不使用嵌套技能。触发时加载参考文件：

参考文件	加载时机
references/discovery-brief.md	对照专业技能审查本包的边界决策
references/agent-production-contract.md	为 Agent 定义能力、权限、不确定性、升级和副作用契约
references/runtime-control-plan.md	规划生产环境中 Agent 的版本管理、分阶段推出或回退
references/tool-authority-health.md	记录或审查工具可用性、故障以及权限使用／违规状态随时间的变化
references/trace-to-eval-feedback.md	将生产环境跟踪记录和事件关联回评估用例和发布门槛
references/service-conditions.md	定义经过测试的并发范围、流式传输完成情况、缓存隔离、回退质量或任务成本预算

具体运营参数

权限

• 定义：Agent 获准执行的操作集合，按目标（哪些资源）、操作（读取／写入／删除）和用户上下文（谁的数据）进行限定。
• 审查触发条件：任何新增工具注册、模型更新或提示词变更，只要扩大了 Agent 可触达的操作范围。
• 阈值：每类操作的权限都是二元的。不得执行生产契约中未明确列出的操作。尝试执行未获授权的操作即为权限违规，并会触发立即升级。
• 违规时的操作：记录尝试、阻止操作、增加权限违规计数器，并升级。如果滚动 24 小时窗口内的违规次数超过 3 次，则停用该 Agent。

升级

• 定义：将决策或操作从 Agent 移交给指定的人类操作员。
• 触发条件（符合任意一项即触发升级）：
  • 权限违规（尝试执行未获授权的操作）。
  • 不确定性超过阈值：Agent 对可能产生副作用的操作的置信度 < 0.7（可按配置文件设置）。
  • 5 分钟滑动窗口内的工具故障率 > 5%。
  • 计费周期内的成本预算超支 > 10%。
  • 延迟 p95 > 基线的 2 倍，且持续 > 5 分钟。
  • 出现人工移交关键词，或用户明确请求升级。
• 操作：暂停 Agent 执行副作用操作的权限，记录升级上下文（触发原因、状态快照、待处理操作），通知指定的升级渠道，并等待人工处置（恢复／降低权限／停用）。

回退

• 定义：当 Agent、模型或工具无法以正常能力水平运行时，预先确定的安全行为。
• 触发条件：
  • 模型端点返回 5xx，且持续 > 30 秒。
  • 关键工具不可用（运行状况检查失败，且持续 > 2 分钟）。
  • 成本预算耗尽（已消耗 100%）。
  • 延迟 p95 > 基线的 5 倍，且持续 > 2 分钟。
• 各配置文件对应的操作：
  • 只读：返回静态／缓存响应，并附上“结果可能已过时”的免责声明。
  • 可执行副作用、内部使用：降级为只读，将待处理的变更操作加入队列，并通知操作员。
  • 可执行副作用、面向客户：降级为只读，向用户显示“暂时不可用”消息，并立即升级。

禁用

• 定义：完全撤销 Agent 的操作能力，包括只读访问。这与降级不同（降级会保留受限能力）。
• 触发条件：
  • 24 小时内发生 3 次或以上越权行为。
  • 当前 Agent 版本的生产就绪评审结果为“no-go”或“defer”。
  • 事件学习记录将严重级别为 1 或 2 的事件归因于 Agent 操作，且尚未完成经验证的闭环。
  • 人工操作员发出明确的禁用指令。
  • 检测到工具遭到入侵或凭据泄露（通过 secure-software-engineering 处理）。
• 操作：撤销所有凭据和令牌；将其从路由和负载均衡中移除；记录禁用原因、时间戳和授权依据；通知升级渠道；在新的生产就绪评审通过前，禁止自动重启。

成本

• 定义：运行 Agent 的财务成本，归属至预算负责人。
• 预算：按 Agent 和计费周期分配（例如，面向客户的支持 Agent 每天 $500）。预算在签订生产合同时设定，并在每次生产就绪周期中审核。
• 阈值：
  • 已消耗 50%：通知预算负责人。
  • 已消耗 80%：发出警告；触发成本优化评审。
  • 已消耗 100%：停止新增支出；使用缓存或零成本回退方案，或使用单独授权的受限预算。只读操作和模型调用仍会消耗资源。
  • 结算后发现实际消耗达到 110%：禁用并调查超支；绝不可将此视为允许支出超过 100%。
• 测量：按请求计算模型成本 + 按调用计算工具成本（如适用），并归属至 Agent 实例。成本数据会追加到 tool-authority-health 记录中。

延迟

• 定义：从用户请求到 Agent 响应的端到端响应时间，以 5 分钟窗口内的 p50 和 p95 衡量。
• 基线：在分阶段上线的观察窗口（上线第 1 阶段）期间建立，并记录在 Agent 生产合同中。
• 阈值：
  • p95 > 基线的 2 倍，且持续 > 5 分钟：触发升级。
  • p95 > 基线的 5 倍，且持续 > 2 分钟：触发回退。
  • 成本预算已消耗 > 80% 时，p50 > 基线的 3 倍，且持续 > 10 分钟：考虑禁用。
• 操作：延迟超限会进入 trace-to-eval 反馈循环：抽取受延迟影响的请求，并审查是否生成评测用例。

隐私

• 定义：对 Agent 访问、处理和保留用户数据（个人身份信息、使用模式、对话内容）的限制。
• 具体规则：
  • Agent 未在其权限合同中获得明确的用户数据访问授权时，不得访问个人身份信息。
  • Agent 轨迹和对话日志在进入 trace-to-eval 反馈管线前，必须清除个人身份信息（清除方案通过 privacy-engineering 处理）。
  • 除非生产合同中指定了更短期限，否则 Agent 轨迹的默认数据保留期限为 30 天。
  • 只读 Agent 访问任何个人身份信息都会立即触发升级（只读配置绝不应接触个人身份信息）。
• 隐私泄露：任何超出授权范围的个人身份信息访问都会触发升级，并必须通过 secure-software-engineering 进行安全审查。

核心工作流

1. 契约：使用 references/agent-production-contract.md 定义 Agent 的能力、权限、不确定性、升级处理和副作用契约。 将生产就绪结果和事件学习记录作为决策输入。

2. 版本管理与规划：对模型、提示词、工具、策略和评估器进行版本管理；使用 references/runtime-control-plan.md 规划分阶段发布和回退路径。

   在更改服务行为或扩大流量之前，加载 服务条件，并在服务条件记录中记录经过测试的范围。

3. 发布：按照 references/tool-authority-health.md 执行分阶段发布，逐步扩大权限，并在每个阶段监控工具健康状况和权限使用情况。

4. 监控：跟踪成本、延迟、工具健康状况、权限违规和升级事件。根据上述具体参数执行基于阈值的操作（通知、降级、升级、禁用）。

5. 反馈：使用 references/trace-to-eval-feedback.md 将生产追踪和事件与评估用例及发布门禁更新关联起来。

6. 学习：利用已验证关闭的事件学习记录和生产就绪评审结果，更新 Agent 权限、升级阈值和禁用条件。

文件索引

路径	用途
SKILL.md	总入口（本文件）
README.md	面向用户的概览和快速入门
AGENTS.md	Agent 加载和发现说明
references/discovery-brief.md	与专业技能的边界分析
references/agent-production-contract.md	能力、权限、不确定性、升级处理和副作用契约
references/runtime-control-plan.md	版本管理、分阶段发布和回退计划
references/tool-authority-health.md	工具可用性／故障及权限使用／违规记录
references/trace-to-eval-feedback.md	从生产到评估的反馈闭环
references/service-conditions.md	经测试的容量、流式传输、缓存、回退和成本条件
templates/service-condition-record.md	记录工作负载限制、验收阈值、证据和停止条件
evals/evals.json	综合输出质量评估用例
manifest.yaml	机器可读的组合契约（架构 v1）：用途、受众、阶段、包含的技能、先决条件、输出、交接、冲突和评估套件；由生命周期能力矩阵使用