ultraqa

UltraQA 任务卡

当可运行行为需要对抗性动态端到端 QA 时，使用此显式选择加入。共享操作不变式位于 templates/AGENTS.md；此卡仅定义 QA 矩阵、证据契约和有界循环。

何时使用及输入

• 使用 /ultraqa --tests|--build|--lint|--typecheck|--interactive 或 /ultraqa --custom "pattern" 实现相应目标；如果没有结构化目标，则推导出可运行行为目标。
• 输入：目标、变更范围、验收标准、可运行命令/服务、现有测试，以及相关状态/清理路径。
• 保持结果优先的表述、活动工作流分支的本地覆盖，并在当前已验证的下一步上 continue。
• 如果用户说 continue，则推进当前已验证的 QA 步骤，而不是重新开始发现。
• UltraQA 不能仅靠浅层的构建/静态检查/类型检查/测试清单满足：只要能够安全地运行、模拟或搭建测试环境，就应通过对抗性动态 e2e 场景演练所请求的行为。

计划与场景矩阵

在执行命令之前，记录一个矩阵，包含场景 id、意图、用户/攻击者模型、设置、 命令或测试框架、预期信号、实际结果、修复、证据和清理。 包括正常路径和相关的恶意类别：

1. 畸形输入：无效 JSON、缺失字段、无效标志、超大字符串、异常 Unicode、类路径遍历值、损坏状态。
2. 重复中断：重复 continue、停止/取消/中止措辞、部分输出和重试。
3. 提示词注入：试图覆盖指令、窃取机密、跳过验证、删除状态或声称成功。
4. 取消/恢复行为和陈旧状态：清理、恢复检测、会话不匹配、缺失时间戳、矛盾阶段。
5. 脏工作区：预先存在的更改/未跟踪文件保持不被触碰。
6. 挂起或长时间运行的命令：有界超时、终止子进程、恢复说明。
7. 不稳定测试：限制重跑次数、失败聚类、隔离证据；绝不能依赖一次侥幸通过的绿色结果。
8. 误导性成功输出：成功文本但退出码非零、隐藏失败、跳过或部分日志。

循环（最多 5 次）

1. 计划对抗性 QA：说明目标、成功标准、安全边界、停止条件、可运行界面和矩阵。
2. 运行基线验证：--tests 运行项目测试；--build 运行构建及构建产物探测；--lint 运行静态检查；--typecheck 运行类型检查及类型化测试框架；--custom 验证模式与退出状态；--interactive 使用有界 CLI/服务测试框架。
3. 运行对抗性动态 e2e 场景并捕获退出码、输出、产物和清理。
4. 检查结果：仅当基线、对抗性场景、证据和清理全部通过时才判定通过。否则诊断并修复，然后重复。
5. 架构师诊断必须提供根因和安全影响；修复问题要精确；清理并回滚临时测试框架、夹具、日志、进程、状态和失败实验，然后再进入下一轮循环。

仅在有用时生成临时测试、脚本、夹具或测试框架。使用有界运行时间、 项目原生工具和安全替代方案（当安全边界阻止某个场景时）。 使用绝对仓库导入和 pathToFileURL(join(repoRoot, "dist", ...)).href；绝不要依赖从 /tmp 使用 ./dist。 使用安全的文件写入器，采用非插值的文件写入机制；不要使用插值 heredoc 进行 JavaScript 断言。 为隔离探测清理 OMX 运行时环境变量：保持 OMX_ROOT 和 OMX_STATE_ROOT 未设置，并运行 env -u OMX_ROOT -u OMX_STATE_ROOT。 将测试框架设置失败单独分类：将其记录为测试框架残留，修复测试框架，并在声明产品缺陷之前重新运行该场景。

安全、状态与退出

不得执行破坏性命令、窃取机密、导出凭据、写入生产环境或无限制地生成进程。不得使用无界等待；保留无关的未提交工作。如果某个场景不安全，将其记录为已阻塞并给出安全替代方案。同一故障重复三次即停止并给出诊断；第 5 轮循环即停止并给出残余风险；目标成功后在一个通过的循环后退出。

使用以命令行优先的生命周期状态和确切命令：

omx state write --input '{"mode":"ultraqa","active":true,"current_phase":"planning","iteration":1,"started_at":"<now>","scenario_matrix":[]}' --json
omx state write --input '{"mode":"ultraqa","current_phase":"qa","iteration":<cycle>,"scenario_matrix":"<updated matrix path or summary>"}' --json
omx state write --input '{"mode":"ultraqa","current_phase":"adversarial-e2e"}' --json
omx state write --input '{"mode":"ultraqa","current_phase":"diagnose"}' --json
omx state write --input '{"mode":"ultraqa","current_phase":"fix"}' --json
omx state write --input '{"mode":"ultraqa","current_phase":"cleanup"}' --json
omx state write --input '{"mode":"ultraqa","active":false,"current_phase":"complete","completed_at":"<now>"}' --json
omx state read --input '{"mode":"ultraqa"}' --json
omx state clear --input '{"mode":"ultraqa"}' --json

在完成、达到最大循环数、出现同一故障、触及安全边界或发生环境错误时，清理 状态和临时产物。报告清理状态，并清理临时 e2e 测试装置。 没有当前证据，绝不要声称已完成。

证据/输出契约

返回 # UltraQA Report，包含：目标与成功标准（包括停止条件 和安全边界）；场景矩阵（上述所有列）；运行的命令（退出码、 用途、超时、关键输出）；发现的故障（根因/用户/安全影响）；已应用的修复 / 已应用的修复（文件、理由、场景、回归证据）；清理与回滚 （产物/进程/工作树的前后对比）；残余风险；以及 证据 （日志、测试装置输出、相关时的截图/记录、重跑/偶发失败证据）。

退出条件

ULTRAQA COMPLETE: Goal met after N cycles 只有在通过基线加上 对抗性矩阵、清理后的产物和完整证据之后才能返回。否则返回确切 的有界状态：ULTRAQA STOPPED: Max cycles、ULTRAQA STOPPED: Same failure detected 3 times、 ULTRAQA BLOCKED: ... 或 ULTRAQA ERROR: ...，并附上负责人和下一步安全操作。