representation-probe-designer

表征探针设计

探测结构，而不只是输出。

信息收集

明确：

• 要探测哪个层、嵌入或状态；
• 要表征什么属性；
• 可用的标签或代理标签；
• 怀疑的失效模式；
• 探针用于诊断、论文证据还是调试。

工作流

1. 定义表征和目标属性。
2. 选择最小探针集：线性探针、近邻、聚类、检索或坍缩诊断。
3. 添加用于排除无关线索的控制项。
4. 选择负向控制，以及随机基线或打乱标签的基线。
5. 定义什么样的结果才算表明存在有意义的结构。
6. 推荐信息量最大的最小探针集。

规则

• 探针提供的是证据，而非完整解释。
• 控制模型容量和信息泄漏。
• 优先选择能区分两种假设的探针，而不是看起来有趣的探针。
• 不要过度解读高容量探针的结果，将其视为基础表征包含某个简单特征的证明。

输出

返回：

• 目标表征和属性；
• 探针方案；
• 控制项；
• 解释规则；
• 失效模式和局限；
• 下一步最小诊断。