evaluation-anchor-checker

评测锚点检查器（让数字经得起审阅）

触发词与路由

• 触发词：评测锚点检查器、数字断言规范、未充分说明的数字、协议上下文、评测锚点检查、数字断言、指标上下文。

用途：修复 Agent 调研中容易引来审稿意见的一类问题：

• 出现有力的数字或性能断言
• 但缺少解读这些断言所需的最低限度评测上下文

此技能将数字断言视为契约：

• 如果保留数字，同一句中必须包含足够的协议上下文，以便解读
• 如果证据中没有该上下文，就必须弱化断言（不得猜测）

输入

首选（合并前使用，可保留锚点）：

• 受影响的 sections/*.md 文件

可选上下文（只读；有助于避免猜测）：

• outline/writer_context_packs.jsonl（查找 evaluation_anchor_minimal、evaluation_protocol、anchor_facts）
• outline/evidence_drafts.jsonl / outline/anchor_sheet.jsonl
• citations/ref.bib

输出

• 更新后的 sections/*.md（如果在合并后处理，则为 output/DRAFT.md），并为评测锚点补充保障
• output/EVAL_ANCHOR_REPORT.md（始终生成；简要报告检查、修改过的文件和弱化过的句子）
• 可选完成标记：output/eval_anchors_checked.refined.ok

调研流水线中的推荐位置

将此步骤用作合并前最后一次章节级数字规范检查：

• 在 style-harmonizer、opener-variator、section-logic-polisher 和 paragraph-curator 之后
• 紧接最终的 argument-selfloop 快照和合并之前

原因：

• 较早的章节级改写步骤可能会合理地改述或合并数字句子
• 如果等到 pipeline-auditor 才检查，合并后的草稿中才会发现数字上下文问题，为时已晚
• 与合并后修补相比，按章节修复成本更低，也更能保留引文锚点

阅读顺序

始终阅读：

• references/numeric_hygiene.md

机器可读资源：

• assets/numeric_hygiene.json

该资源定义了关键词类别和定性降级模板。 保持脚本行为确定，并将策略放在资源文件与参考文档中。

角色提示词：以审稿人为导向的编辑（评测规范）

You are a reviewer-minded editor for evaluation claims in a technical survey.

Goal:
- make every numeric/performance claim interpretable and reviewer-safe

Hard constraints:
- do not invent numbers
- do not add/remove/move citation keys
- if protocol context is missing, weaken or remove the numeric claim

Minimum context to include when keeping a number:
- task / setting (what kind of task)
- metric (what is being measured)
- constraint (budget/cost/tool access/horizon/seed/logging) when relevant

Avoid:
- ambiguous model naming that looks hallucinated (e.g., “GPT-5”) unless the cited paper uses it verbatim

工作流（明确输入）

• 使用 outline/writer_context_packs.jsonl 查找小节允许使用的引文，以及提取的 evaluation_protocol/anchor_facts。
• 在处理数字前，交叉核对 outline/evidence_drafts.jsonl 和 outline/anchor_sheet.jsonl 中的任务、指标和约束上下文。
• 对照 citations/ref.bib 验证每个引文键（不得引入新键）。
• 编写 output/EVAL_ANCHOR_REPORT.md，为流水线提供可审计的本次检查完成记录。

检查要求（“最低协议三要素”）

当句子中包含数字（%、x 或数字）时：

• 只有在无需猜测的情况下，能在同一句中补充以下内容中的至少 2 项，才保留数字：
  • 任务类别／基准名称
  • 指标定义
  • 约束条件（预算、工具访问权限、成本模型、重试次数、时间范围）

如果做不到，就要弱化断言：

• 删除数字，并在保留相同引文的前提下改写为定性表述（“通常”“可以”“可能”）
• 或者将具体内容改为待验证项（“评测需要报告……”），不得添加新事实

简短示例（意译；请勿照抄）

不佳（说明不充分）：

• Model X achieves 75% exact performance [@SomeBench].

更佳（提供最低限度的上下文）：

• On <task/benchmark>, Model X reaches ~75% <metric>, under <constraint/budget/tool access> [@SomeBench].

缺少上下文时更佳的降级写法：

• Reported gains vary, but comparisons remain fragile when budgets and retry policies are not reported [@SomeBench].

完成检查清单

• 存在 output/EVAL_ANCHOR_REPORT.md，且报告的文件数量非零。
• 不再有缺少最基本协议背景的数字声明。
• 不再有含义模糊的模型名称，除非有引用明确支持。
• 引用键保持不变。
• 如果删除或弱化了数字，段落仍然提出有理有据且不超出证据范围的观点。

脚本

快速开始

• uv run python .codex/skills/evaluation-anchor-checker/scripts/run.py --workspace <workspace>

所有选项

• --workspace <dir>：包含 sections/*.md 或合并稿件产物的工作区
• --unit-id <id>：可选的测试框架元数据
• --inputs <semicolon-separated>：可选，用于覆盖 UNITS.csv 中的输入
• --outputs <semicolon-separated>：可选，用于覆盖输出；默认包含 output/EVAL_ANCHOR_REPORT.md
• --checkpoint <C*>：可选的测试框架元数据

示例

• 合并前运行数字规范检查：
  • uv run python .codex/skills/evaluation-anchor-checker/scripts/run.py --workspace <workspace> --inputs 'sections/*.md;outline/writer_context_packs.jsonl;citations/ref.bib' --outputs 'sections/*.md;output/EVAL_ANCHOR_REPORT.md;output/eval_anchors_checked.refined.ok'