verify

验证

采样 N 条独立轨迹，然后对其排序（Kwok 等人，arXiv:2607.05391）。 一个评分令牌是 LM 评审，并非此方法。

标志

标志	默认值	效果
--candidates <n>	3	候选池大小 N。不根据任务推断
--evals <k>	2	重复次数 K；每轮奇数次都交换 A/B
--pivots <k>	2	当 N>3 时使用的 PPT 枢轴；限制在 [1, N] 内
--max-rounds <n>	0	选择后额外进行的生成或修订轮次
--criteria <path>	auto	标准文件；否则内联编写 2–4 项
--track	off	仅跟踪进度；跳过生成和选择

提供的列表会覆盖 --candidates。N 是预算，不是计算得出的数量。

1. 锁定任务和标准

必须提供任务。编写 2–4 项相互独立的标准，以及一条信任观察到的工具输出、而非叙述内容的真实情况说明。按照 REFERENCE.md 中的布局编写该文件。

记录：task | criteria | generate | path | n/k/pivots/rounds | current | terminal。

任务和标准固定后即完成，否则标记为 BLOCKED。

2. 生成

若使用 --track：跳过。如果用户提供了尝试结果，则原样使用。

否则，在一个并行波次中分派 --candidates 个工作者。每份任务说明包含： 已锁定的任务 + 标准 + “一次完整尝试；没有同伴；不排序。” 写入范围必须是工作树或副本，并遵循 REFERENCE.md 中的隔离说明，绝不可在此树上创建分支。 在同一棵树中并行写入则标记为 BLOCKED。父级不实现任何内容。无法派生工作者时：串行进行 N 次尝试（generate=serial）。

锁定 N 条轨迹后即完成，否则标记为 BLOCKED。

3. 验证

如果某项标准需要实证，则运行候选项。将其分类为全通过 / 全失败 / 结果摇摆。对跳过类别跳过评分。此处全失败意味着无法获胜：若 --max-rounds 还有剩余轮次，则消耗一轮并返回第 2 步；否则标记为 ALL_FAIL。

结果摇摆时，每次比较一项标准。N≤3：检查每个有向配对。N>3：将 --pivots 限制在 [1, N] 内，然后运行 REFERENCE.md 中的 PPT 流程。对 C 和 K 求平均。软胜率 p = 1/(1+exp(-(R_a-R_b)))。累积 w_i、c_i。

评分路径（按首次匹配项选择）；从 REFERENCE.md 中选取：

1. <score_A> / <score_B> 处有 logprobs：在 A–T 上计算 R = E[φ(v)]（论文）。
2. 没有 logprobs，且用户指定了 logprob 验证器：两阶段（论文 B.6）。
3. 仅限此测试框架：输出 A–T，映射，然后对 K 和 C 求平均。不是公式 3.1。 仍采用成对比较、分解式评估并交换 A/B。绝不使用 1–10 分。

若使用 --track：针对“是否已完成？”对前缀评分；不检查同伴。

每个已评分候选项都有 w_i/c_i，或适用跳过类别后即完成。

4. 选择

--track 或全失败：不选胜者。全通过：选择索引最低的通过项。结果摇摆： argmax w_i/c_i（索引用于打破平局）。记录该选择后即完成。

5. 修订或停止

出现以下情况时停止：全通过；--track 且得分 ≥ 0.8，并有观察到的检查结果； --max-rounds 耗尽（默认不修订）；得分没有提升。否则，仅修订结果摇摆中的胜者，在其最弱的标准上进行修订，然后返回第 3 步。

触发停止规则后即完成。

6. 报告

criteria | generate | path | classify | ranking w_i/c_i | winner | rounds | stop | terminal。SUCCESS、ALL_PASS、ALL_FAIL、NO_IMPROVEMENT、 BLOCKED。

托词

借口	实际情况
“我自己做就行”	父级不实现任何候选项。分派 N 个工作者。
“N 应该与难度相符”	N 由 --candidates 指定。不要自行推断。
“给它们打 1–10 分”	使用离散评审。相信观察到的执行结果。

危险信号

父级编写候选项；工作者在同一棵树上并行写入或以分支作为并行工作区；推断 N；使用 1–10 分；结果摇摆时没有 w_i/c_i；没有交换 A/B。