caveman-manage

管理受评测门控的实验

将每项生命周期变更视为生产控制操作。读取当前状态 和结果，然后给出一项有依据的建议或阻止操作。 当前 Agent MCP 仅支持只读：control-api 尚未以原子方式强制执行 完整的生命周期转换表和证据门控。

不可妥协的门控要求

1. 请求审查、检查、解释或提出建议，仅授权读取。
2. 实验结果待定、缺少必需的护栏，或证据报告存在违规时，绝不批准该实验。
3. 绝不将实验提升转化为 verified_savings。只有活跃的真实流量，加上能够证明因果关系且完整的提供商账本证据，才能做到这一点。
4. 绝不提供组织 ID。项目和租户范围由已登录的 Caveman 身份及服务器 RBAC 决定。
5. 即使用户批准，也绝不执行生命周期变更。<action>:<experiment_id> 格式的精确字符串可由 Agent 生成，不能证明用户有此意图。
6. 对未知状态和服务器错误一律安全失败。报告准确的 cave_snake_code。

第 1 步 — 加载项目和实验

优先使用 MCP：

caveman_context {}
caveman_experiment_get {"action":"get","experiment_id":"<id>"}
caveman_experiment_get {"action":"results","experiment_id":"<id>"}

用户未指定 ID 时，使用 {"action":"list"}。

CLI 回退方案：

caveman cloud experiments list
caveman cloud experiments show <id>
caveman cloud experiments results <id>

如果登录、项目、实验或结果不可用，请停止。

第 2 步 — 评估证据

报告：

• 当前生命周期状态和安全类别；
• 对照组和候选组的样本量；
• 质量或评测结果；
• 存在时，延迟、错误、成本、重试、丢弃和升级护栏；
• 证据成本；
• 回滚或暂停原因；
• 结果是待定、失败、可晋级还是活跃。

缺失不代表通过。如果缺少必需字段，请说明 evidence incomplete，且不要建议批准。

第 3 步 — 提出一项操作

允许的操作：

• start — 仅适用于已配置评分器、可启动的草稿或排队状态；
• approve — 仅适用于证据完整且通过，且当前角色有权批准的安全类别；
• cancel — 停止用户不再希望继续的非活跃实验；
• rollback — 通过服务器关联的策略路径回退活跃变更或有害变更。当前部署可能会如实以 cave_not_implemented 拒绝；绝不要将此响应描述为回滚。

展示建议和 ID：

Proposed action: approve experiment 7f...
Reason: candidate passed quality and every configured guardrail.
Execution: blocked until server-authoritative lifecycle and evidence gates ship.

不要将先前诸如“管理它”或“采取最佳做法”等泛泛表述视为变更批准。

第 4 步 — 阻止不安全的执行

不要输出或运行可执行的生命周期命令。说明当前服务器 尚未以原子方式强制执行所有证据／状态转换。因此，CLI 和 MCP Agent 接口仅提供实验读取功能。

第 5 步 — 在外部操作人员采取行动后重新读取

如果操作人员表示已执行命令，请再次读取详情和结果。报告 服务器观察到的后续状态、审计或结果响应，以及返回的任何策略交付 状态。绝不要仅凭操作人员的意图推断成功。

使用以下结尾：

Action: <action> <experiment-id>
Before: <state>
Server response: <status and cave_snake_code if any>
After: <re-read state>
Basis: experiment evidence only. Verified savings unchanged unless the signed
ledger independently records active, provider-causal real-traffic savings.