term-check

一个名称只有在从未看过文档的读者也能猜对时，才算名副其实。这个探测用来衡量这一点：一个场景，替换进去三个候选术语，三个模型，每个模型运行两次。默认使用三个候选——如果桌面上只有两个候选，就提出第三个同义词，并对三个候选全部运行。

步骤

1. 编写场景并保存到文件：用两句话说明领域、术语周围的结构，并在候选词的位置放入 {TERM}。只说明陌生人判断这个词所需的信息，因为如果场景点明了正在测试的含义，就等于自己回答了问题。最后附上固定的回答格式：一个句子，加上 confidence: high|medium|low，以便比较各次运行结果。

2. 运行探测：

   bash .agents/skills/term-check/probe.sh <scenario-file> <term-a> <term-b> <term-c>
   

   每个术语运行六次，并行执行，大约一分钟。

3. 根据术语必须传达的含义为每次运行评分：正确、部分正确或错误。将每个模型自己的置信度一并保留在评分旁边。

4. 先报告场景，再列出表格。 在表格上方的围栏代码块中原样引用模型收到的场景，让读者先判断问题，再看答案。

   每个模型的每次运行占一行，每个术语占一列。每个单元格都采用 <icon> (<confidence>) -> <guess> 格式：评分使用 ✅ 正确、⚠️ 部分正确或 ❌ 错误；附上模型自己的置信度词，以及用几个词概括的猜测，让读者看出模型理解了什么。先看答案是否正确，再看置信度。

   模型	term-a	term-b	term-c
   Opus，运行 1	✅ (medium) -> 将它移到第二天的计划中	❌ (low) -> 封存时将它删除	⚠️ (low) -> 将它保留在某个未命名的地方

5. 如果胜出的候选表现不佳，就提出新一轮探测。 如果胜出的候选没有获得任何 high 置信度，或者它只是因为其他候选表现崩溃才胜出，就说明它表现不佳。说明这一点，列出 3 或 4 个新的同义词，并询问用户是否运行这些候选；同时改进场景，因为场景信息不足会压低所有置信度。

完成标准：每个术语的六次运行都有图标、置信度和猜测；场景位于表格上方；表格明确指出胜出者、平局或表现不佳的胜出者，并提供一组新的同义词。

解读结果

结果	含义
所有候选得分相同	首先怀疑场景，而不是词语：结果如此相似，通常意味着场景给出的暗示太强，自己回答了问题。重新阅读场景，指出泄露答案的短语，并询问用户是否要修改场景后再做一次探测。只有场景本身没有问题时，平局才意味着这个词没有发挥作用——此时根据其他因素选择：简洁程度、与同类词的一致性、术语表
一个候选胜出	这个词能传达所需含义。采用它
所有候选得分都很差	词语没有问题，结构才有问题。修正结构，然后重新探测

局限

每次运行都会从一个空白对话开始，并在中立目录中进行，因此模型不会接触到任何仓库文档。全局 ~/.claude/CLAUDE.md 仍会加载。它不包含领域词汇，并且对所有候选都会加载，因此候选之间的比较仍然有效，但绝对分数则不然。

模型会根据整个场景进行猜测，因此，如果场景泄露了答案，所有候选都会得分正确。如果候选打平，应重新阅读场景，再决定是否相信平局结果。

置信度词是模型根据场景中的要求自行给出的报告。它背后没有数字，也没有经过校准，因此应将它视为语气参考，并以评分作为判断依据。实际测量的数字是答案一致率：有多少次运行得出了相同含义。提高 probe.sh 中的运行次数，可以让结果更准确。