twg-bench-lite

twg-bench-lite

通过 TWG CLI，将同一个只读提示词运行两次：一次使用免费的 Atlassian/本地 MCP 上下文，另一次使用付费的 Atlassian Teamwork Graph 上下文。这是以技能为先的工作流，并通过精简的 twg benchmark lite run 桥接命令执行。基准测试仓库负责维护可复用的运行器、评审器和报告模板代码。

CLI 启动器回退方案

运行 twg <command>。如果 shell 返回 command not found，则使用 $HOME/.local/bin/twg（macOS/Linux）或 $env:LOCALAPPDATA\Programs\twg\bin\twg.exe（PowerShell），然后告知用户将该目录添加到 PATH。不要将身份验证或命令错误视为 PATH 故障。

运行时支持

V1 支持 Codex 和 Rovo 实时运行。Claude 属于 V2。不要要求用户在本地安装基准测试 CLI。

适用条件

两组都能尝试的纯文本读取任务。不要比较修改操作；对于写入操作，仅在用户批准后比较只读计划或 dry-run。两组使用的底层提示词必须逐字节保持一致。

前置条件

对于默认的完整生命周期命令，请先验证便携式运行器和所选运行时：

twg benchmark lite --check

默认检查使用 Codex；如果运行应使用 Rovo，请使用 --agent rovo。

对于 Rovo 运行：

twg benchmark lite --check --agent rovo

质量评审器默认使用所选运行时，因此 Rovo 运行默认使用 Rovo 评审器。如果用户明确要求使用其他评审器运行时，请使用：

twg benchmark lite --check --agent rovo --judge-agent codex

仅手动编排时才需要托管自定义 Agent：

• twg-bench-lite-control
• twg-bench-lite-test

如果手动运行需要其中任一 Agent，但该 Agent 不存在，请告知用户运行：

twg skills install --yes

然后启动新的 Codex 线程，以刷新 Agent 发现。手动编排时不要用通用 Agent 替代，因为两组隔离正是关键。

实时运行前，请使用以下命令验证设置：

twg benchmark lite --check

此命令会检查捆绑的运行器工件和所选的实时运行时。Codex 检查包括 Codex 可执行文件和 Codex 主目录。Rovo 检查包括 Rovo 可执行文件和 OAuth 状态。如果 --judge-agent 与 --agent 不同，则会验证这两个运行时。在相关情况下，它还会将全局 twg-bench-lite 技能安装情况以及托管的 control/test Codex Agent 配置报告为手动工作流的可选检查项。

两组

• **对照组 - 免费 Atlassian 与本地 MCP 上下文：**使用免费的 Atlassian 工具，以及用户本地的 MCP/连接器。除非提示词明确涉及本地文件，否则不要将 TWG CLI、TWG 技能、付费图谱工具、先前产物或本地文件用作任务证据。
• **测试组 - 付费 Atlassian Teamwork Graph 上下文：**使用 TWG CLI 图谱上下文，并以捆绑的 TWG 指南作为主要工作数据来源。

配对运行

对于默认的完整生命周期，请运行：

twg benchmark lite run --prompt "<read-only prompt>" --output-dir <dir>

使用 --agent rovo，即可通过 Rovo 运行相同的生命周期。 除非提供 --judge-agent codex|rovo，否则质量评审器会使用相同的运行时。

手动编排时：

1. 保存确切的对比提示词。
2. 启动配对 Agent 前，先让 TWG CLI 提供测试组的路由：twg benchmark lite plan --prompt-file <prompt-file> --json。
3. 并发启动两个托管 Agent，且不使用派生的父级上下文：twg-bench-lite-control 和 twg-bench-lite-test。
4. 将完全相同的提示词作为完整用户消息发送给每个子 Agent。不要添加针对特定组的指令；隔离由托管 Agent 配置负责。测试 Agent 可以将 TWG 路由计划作为工具选择策略使用，但不能将其作为回答证据。
5. 除非用户提出要求，否则不要设置模型/推理覆盖；如需覆盖，两组必须使用相同设置。
6. 等待两个子 Agent 完成，并记录其 Agent ID 或会话链接。
7. 不要由父级 Agent 再次解决该任务。父级 Agent 负责对比、评估和报告。

在父级会话中输出生命周期进度：开始、已记录提示词、Agent 已启动、各组已完成、已读取输出、已完成质量评审、已整理报告、完成。

质量

在解读 token 差值之前，先阅读两个回答。将结果分类为 equivalent、 twg-better、control-better、capability-gain 或 not-comparable。 not-comparable 是针对缺失、不可用或无法比较的回答的真实结果，不是占位符。 只有在结果为 equivalent 或 twg-better 时，才报告观察到的节省；若结果为 capability-gain，则报告能力提升。

评估覆盖度、正确性、证据质量、直接性和局限性。 不要给出数值质量评分。

精简报告

在父级回答中返回一份精简报告，包含：

• 提示词文本，
• control/test 的状态和最终输出，
• 观察到的工具系列，以及可用时的 TWG 命令证据，
• Agent 运行时提供时的 token、工具和耗时指标，
• 质量分类及理由，
• 完整性说明：提示词是否相同、角色是否符合预期、control 中是否未出现 TWG、 test 中是否使用了 TWG，以及任何测量缺口。

如果无法获取 token/会话指标，请说明“未测量”；不要估算。 将结果描述为一次已观察到的提示词比较，而非普遍适用的效率比率。