results-analysis

结果分析

针对 ML/AI 研究开展严格、证据优先的实验分析。

使用此技能生成一套严格的分析材料：

• analysis-report.md
• stats-appendix.md
• figure-catalog.md
• figures/

当用户要求审查、审计、只读、不写入或试运行，或者输入不完整时，请使用只读审计模式，而不是生成文件或图表。在该模式下，只输出有效／无效统计数据、阻碍因素、候选结论以及缺失的证据。如果通过 /analyze-results 调用，命令层可以写入阻碍因素摘要，但此技能不得基于不完整证据创建图表、报告或润色后的结论。

不要使用此技能撰写论文的 Results 部分或完整的实验总结报告。这些任务应交由 ml-paper-writing 或 results-report 处理。

核心约定

此技能负责

• 验证实验产物和比较单位；
• 运行严谨的描述性统计和推断统计；
• 在数据／日志可用时生成真实的科学图表；
• 撰写图表用途、图注要求和解读检查清单；
• 明确指出局限、阻碍因素和缺失证据。

此技能不负责

• 可直接用于论文的 Results 正文；
• 润色论文叙述；
• 使用 pubfig / pubtab 打包可直接用于论文的图表／表格；
• 项目级实验回顾。

如果用户需要完整的实验后总结报告，请在这套材料准备就绪后移交给 results-report。如果用户需要出版级图表／表格、导出参数、出版质量检查或图表／表格重设计，请移交给 publication-chart-skill。

不可妥协的质量标准

1. 优先生成真实图表，而非图表规范。
   如果能够读取数据，就生成真实图表。不要止步于“建议的可视化方式”。
   例外：在只读审计模式下，不要生成图表；请说明证据完整后哪些图表才有效。
2. 绝不编造统计数据。
   如果缺少样本量、随机种子或原始指标，请明确说明阻碍因素。
3. 报告完整统计数据。
   不要只报告最佳分数或 p 值。
4. 解读每张主要图表。
   每张主要图表都必须说明用途、图注要求和图表后的解读要点。
5. 区分证据与正文。
   此技能用于生成分析材料；不撰写论文正文部分。

标准工作流

1. 清点并验证产物

首先识别：

• 指标表格（csv、json、tsv、日志）；
• 训练曲线和检查点；
• 随机种子／重复运行；
• 基线、消融实验和比较组；
• 评估协议元数据。

验证：

• 指标方向（越高／越低越好）；
• 分析单位（运行、受试者、折、数据集、随机种子）；
• 运行／随机种子的数量；
• 缺失值或未报告的失败；
• 不同方法之间的可比性。

如果比较在统计上无效，请在继续前说明。除非研究设计有依据，否则不要将重复的 subject × task 行、折、窗口、试验或随机种子视为独立单位。 常见阻碍因素：subject × task 汇总表通常是重复测量汇总，而不是独立的受试者级样本。如果受试者有多个任务行或缺少任务单元格，请在提出任何显著性或胜出结论前说明这一点。

2. 明确比较问题

运行统计之前，先明确具体的比较问题：

• 将哪种方法与哪个基线比较？
• 主要指标是什么？
• 重复测量单位是什么？
• 哪些消融或稳健性问题很重要？
• 哪些发现会改变决策？

不要将无关的比较混在同一张未区分的表格中。

3. 运行严格的统计分析

始终提供：

• 描述性统计：在适用时使用 mean ± std，
• 95% CI 或其他有明确依据的区间，
• 运行次数 / 随机种子数量，
• 注明假设的显著性检验，
• 效应量，
• 报告多个对比时的多重比较处理。

默认要求：

• 首先检查参数检验假设，
• 假设不成立时采用非参数检验作为备选，
• 明确说明检验的内容和所用样本。

参见：

• references/statistical-methods.md
• references/statistical-reporting.md

4. 生成真实的科学图表

只要有可用的产物，就生成实际图表。

对于非简单的分析套件，最低要求：

• 一张主要对比图，
• 一张辅助图（训练动态 / 消融实验 / 分项分析 / 误差分析），
• 一张包含精确数值的 markdown 汇总表。

每张主要图表都必须定义：

• 图表目的，
• 绘制的变量，
• 误差线的含义，
• 图注要求，
• 解读检查清单。

参见：

• references/visualization-best-practices.md
• references/figure-interpretation.md

5. 编写分析产物

analysis-report.md

总结：

• 分析问题，
• 主要发现，
• 证据最充分的对比，
• 主要注意事项，
• 对实验认知的变化，
• 之后可用于报告或论文写作的候选论点。

每个候选论点都应采用以下格式：

## Claim Candidates

- Claim:
  - Source evidence:
  - Allowed wording:
  - Forbidden stronger wording:
  - Uncertainty:
  - Next check:
  - Decision: keep | weaken | revise | discard

stats-appendix.md

记录：

• 描述性统计，
• 检验选择，
• 检查过的假设，
• 效应量，
• 置信区间，
• 多重比较校正，
• 明确的阻碍因素和局限性。

figure-catalog.md

对每张图表，记录：

• 文件名，
• 目的，
• 数据来源，
• 图注草稿要求，
• 关键观察结果，
• 解读检查清单，
• 已知注意事项。

6. 最终 QA 检查

只有以下各项全部满足后才能结束：

• 明确提出主要对比问题，
• 说明样本量 / 随机种子数量，
• 论证推断检验的合理性，
• 报告主要对比的效应量，
• 有数据时，生成真实图表，
• 每张图表都有解读说明，
• 明确说明局限性和阻碍因素，
• 每个有证据支持或证据充分的候选论点都包含证据、不确定性和允许使用的措辞，
• 证据不足时，明确禁止使用过强的论文措辞，
• 不包含论文风格的 Results 草稿。

输出结构

analysis-output/
├── analysis-report.md
├── stats-appendix.md
├── figure-catalog.md
└── figures/
    ├── figure-01-main-comparison.pdf
    ├── figure-02-ablation.pdf
    └── ...

图表解读规则

对于每张主要图表，回答以下三个问题：

1. 这张图表为何存在？
2. 读者具体应注意什么？
3. 这一观察会如何改变我们的判断或下一步决策？

如果一张图表无法回答第 3 个问题，那么它很可能只是装饰，而非科学图表。

只读审计模式

在以下情况下使用此模式：

• 用户要求审计或审查现有产物，
• 环境为只读，
• 用户禁止写入文件或生成图表，
• 缺少核心证据。

返回：

• 分析问题，
• 有效的统计分析，
• 无效或不可靠的统计分析，
• 包含允许和禁止措辞的候选论点，
• 生成报告 / 图表前的阻碍因素。

在此模式下，不要创建 analysis-output/、图表或报告。 如果某个统计文件的解读与其自身的 p 值、检验方法、分析单位或对比家族相矛盾，则应将其隔离。在核查来源之前，不要用该文件来确定论点措辞。

失败模式策略

如果输入不完整，请明确说明。

示例：

• 没有种子级数据 -> 仅提供描述性摘要；不得进行推断性陈述，
• 没有可比较的基线输出 -> 不得声称结果具有显著性，
• 没有可读取的日志 -> 无法生成动态变化图，
• 运行次数过少 -> 效应量可能不稳定；请报告这一局限。
• 分析单位不明确 -> 不得声称某方胜出或结果具有显著性，
• 分析文件中的解释相互矛盾 -> 在核实来源前将其隔离。

绝不要用自信的表述替代缺失的证据。

参考文件

仅加载所需文件：

• references/statistical-methods.md - 检验选择与假设
• references/statistical-reporting.md - 最低报告标准
• references/visualization-best-practices.md - 出版级图表规范
• references/figure-interpretation.md - 如何基于证据解读图表
• references/analysis-depth.md - 从观察深入到机制与决策
• references/common-pitfalls.md - 常见分析与报告失误
• ../research-ideation/references/research-contract.md - 共用的候选主张与主张强度约定

示例文件

• examples/example-analysis-report.md
• examples/example-stats-appendix.md
• examples/example-figure-catalog.md