mandela

审计验证中是否存在泄漏：外部真实标签是否真的进入了验证，还是所有人都在确认一个无人独立得出的结果？

目标

这种现象名为 曼德拉效应——整个人群都 深信不疑地记得 一件从未独立发生过的事；存在泄漏的验证与之如出一辙。逐一检查以下 8 种模式。mandela 只检查一件事：验证是否独立，还是设计者、模型和评分者只是在彼此确认。

工作流

1. 找出验证方式（评估 / 指标 / 实验 / 留出集 /“如何判断结果”）。指出它的组成部分——分别是什么充当模型、评分者、设计者和数据集。
2. 提出核心问题：外部真实标签是否以独立的方式进入？
3. 对照以下 8 种模式检查验证方式（有些模式只适用于特定组成部分，例如人类受试者或评分者）；只报告触发的模式，并逐一注明名称。
4. 针对每项触发的模式，给出引入独立真实标签的修正方法。

8 种泄漏模式

1. 回忆，而非推理——复述记住的答案，而非实际推导答案；系统早已知道它本应计算出的结果。
2. 零假设错误——消融实验去除了表面标签，却没有去除系统实际利用的底层信号，因此“对照组”仍然存在泄漏。
3. 共同幻觉——两个组成部分相互验证，把循环论证报告成一个数字。
4. 同义反复——评分者给自己划分的类别打分。
5. 验证者 = 设计者——披着留出集外衣的私有、不可复现的方案。
6. 共享样本池偏差——训练集和留出集来自同一个标注者样本池，因此两边都受到同一种偏差影响。
7. 框架注入——问题直接把假设告诉受试者。
8. 需求特征——受测者知道自己正在被测量。

规则

• 有一种容易被忽略、且会造成双重影响的细节：即使你对输出值进行了盲测，仍可能泄露收集方案。
• 只读——指出泄漏和独立性修正方法；不要重写实验。
• 对于高风险验证，你可以加入一名独立的全新上下文审计者（N=1），只向其提供验证设计，不提供本次会话中的推理，让其盲审这套 8 种模式的分类法；默认方式仍是在同一会话中只读审计。

验证

对这次审计运行 mandela：

1. 对你自己应用模式 #3–#5：你是否在给自己划分的类别打分（同义反复，#4）？验证者是否就是设计者（#5）？你的结论是否与设计本身的主张构成共同幻觉（#3）？
2. 没有参与审计的读者，能否仅凭所引用的证据得出你的结论——这是否构成独立真实标签？
3. 报告应指出根因，而不是罗列一长串问题。