results-analysis

ML/AI 研究的结果分析

将实验数据与论文写作相衔接的系统化实验结果分析工作流。

核心功能

此技能提供三项核心能力：

1. 实验数据分析 - 读取并分析各种格式的实验数据
2. 统计验证 - 执行统计显著性检验和性能比较
3. 论文内容生成 - 为结果部分生成文本和可视化内容

使用时机

在需要以下操作时使用此技能：

• 分析实验结果（CSV、JSON、TensorBoard 日志）
• 生成论文的结果部分
• 比较多个模型的性能
• 执行统计显著性检验
• 创建符合出版要求的可视化图表
• 验证实验结果的可靠性

工作流

标准分析流程

Data Loading → Data Validation → Statistical Analysis → Visualization → Writing → Quality Check

第 1 步：数据加载与验证

支持的数据格式：

• CSV 文件 - 表格数据
• JSON 文件 - 结构化结果
• TensorBoard 日志 - 训练曲线
• Python pickle - 复杂对象

数据验证检查：

• 完整性检查 - 缺失值、离群值
• 一致性检查 - 数据格式、单位
• 可复现性检查 - 随机种子、版本信息

根据数据格式选择合适的工具进行数据加载和初步验证。

第 2 步：统计分析

基本统计量：

• 均值
• 标准差
• 标准误
• 置信区间

显著性检验：

• t 检验 - 两组比较
• ANOVA - 多组比较
• Wilcoxon 检验 - 非参数检验
• Bonferroni 校正 - 多重比较校正

根据数据特征选择合适的统计检验。

关键原则：

• 报告完整的统计信息（均值 ± 标准差/标准误）
• 说明所用的检验方法和显著性水平
• 报告 p 值和效应量
• 考虑多重比较问题
• 重新计算示例，并使用同一组未舍入的输入值报告结果；均值、样本标准差、n、 检验统计量、P 值和效应量必须对应同一比较和分析单位。
• 对于跨数据集均值，先计算每次运行的均值，再估计运行间的变异； 对数据集标准差求平均无法得出这一不确定性。仅报告实际执行过的诊断。

完整统计方法指南见 references/statistical-methods.md。

第 3 步：模型性能比较

比较维度：

• 准确率/性能指标
• 训练时间/推理速度
• 模型复杂度/参数量
• 鲁棒性/泛化能力

比较方法：

• 基线比较 - 与现有方法进行比较
• 消融研究 - 验证各组件的贡献
• 跨数据集验证 - 测试泛化能力

系统地比较不同方法的性能，确保比较公平。

第 4 步：可视化

符合出版要求的可视化要求：

• 矢量格式（PDF/EPS）
• 色盲友好型调色板
• 清晰的标签和图例
• 恰当的误差线
• 黑白打印时仍清晰可读

常见图表类型：

• 折线图 - 训练曲线、趋势分析
• 柱状图 - 性能比较
• 箱线图 - 分布展示
• 热力图 - 相关性分析
• 散点图 - 关系展示

使用合适的可视化工具生成符合出版要求的图表。

可视化指南见 references/visualization-best-practices.md。

第 5 步：撰写结果部分

结果部分结构：

## Results

### Overview of Main Findings
[1-2 paragraphs summarizing core results]

### Experimental Setup
[Brief description of experimental configuration; details in appendix]

### Performance Comparison
[Comparison with baseline methods, including tables and figures]

### Ablation Study
[Validate contributions of each component]

### Statistical Reporting
[Effect sizes with intervals and n; inferential tests only where the design supports them, with the policy declared once in Methods]

### Qualitative Analysis
[Case studies, visualization examples]

写作原则：

• 明确说明每项实验验证的假设
• 引导读者观察关键现象：“图 X 显示……”
• 报告完整的统计信息
• 如实报告无效结果和负面结果，将其作为研究发现；在讨论部分一次性说明研究范围

完整写作指南见 references/results-writing-guide.md。

步骤 6：质量检查

检查清单：

• 所有数值都包含误差线／置信区间
• 已说明统计检验方法
• 图表清晰易读（包括黑白打印效果）
• 已报告超参数搜索范围
• 已说明计算资源（GPU 类型、耗时）
• 已说明随机种子设置
• 结果可复现（代码／数据可用）

常见错误和陷阱

统计错误

❌ 错误做法：

• 只报告最佳结果（挑选性报告）
• 混淆标准差和标准误
• 不提供效应量、区间和 n 就声称存在差异
• 报告多个推断检验，却未说明多重检验策略

✅ 正确做法：

• 报告所有实验结果
• 明确说明使用的是标准差还是标准误
• 在实验设计允许时进行统计检验，并说明重复单位
• 报告多个检验时，说明一种多重检验策略（例如 Holm 或 Benjamini-Hochberg）

可视化错误

❌ 错误做法：

• 使用不适合色盲人士的配色方案
• Y 轴不从 0 开始（夸大差异）
• 缺少误差线
• 图表过于复杂

✅ 正确做法：

• 使用 Okabe-Ito 或 Paul Tol 配色方案
• 设置合理的坐标轴范围
• 添加误差线和置信区间
• 保持图表简洁清晰

写作错误

❌ 错误做法：

• 过度解读结果
• 未描述实验设置
• 隐去负面结果
• 缺少统计信息

✅ 正确做法：

• 客观描述观察到的现象
• 提供充分的实验细节
• 如实报告所有结果
• 报告完整的统计信息

完整的错误模式和修正方法请参见 references/common-pitfalls.md。

与论文写作集成

与写作技能协作

此技能侧重于实验结果分析，并与本仓库中的写作技能协同工作：

results-analysis 负责：

• 数据分析和统计检验
• 生成可视化图表
• 解读结果

scientific-writing 或 conference-paper-writing 负责：

• 完整的论文结构
• 整合引用
• 针对特定投稿场所的框架和格式

工作流集成：

Experiments complete → results-analysis analyzes
    ↓
Generate analysis report and visualizations
    ↓
scientific-writing or conference-paper-writing integrates into paper
    ↓
Complete Results section

输出格式

分析完成后，将生成以下内容：

1. 分析报告（analysis-report.md）

   • 统计摘要
   • 主要发现
   • 建议的图表

2. 可视化文件（figures/）

   • PDF 格式的图表
   • 独立的图注

3. 结果草稿（results-draft.md）

   • 可直接用于论文的文本
   • 包含图表引用

示例和模板

示例文件

USAGE.md 中的合成数据演练包含完整的 CSV 运行结果和 scripts/example_statistics.py（需要 SciPy）。使用 --example usage 或 --example benchmark 运行脚本，即可重新计算相应示例；脚本会打印 JSON，但不会写入文件。

完整示例请参见 examples/ 目录：

• example-analysis-report.md - 完整的分析报告示例
• example-results-section.md - 论文结果章节示例

工作流概览

完整的分析流程包括：

1. 数据加载 - 从实验输出文件读取结果
2. 统计分析 - 计算基本统计数据并进行显著性检验
3. 可视化 - 创建符合出版质量要求的图表
4. 生成报告 - 整合分析结果和可视化图表

详细方法和最佳实践请参见 references/ 目录中的指南。

参考资源

详细指南

• references/statistical-methods.md - 完整的统计方法指南
• references/results-writing-guide.md - 结果部分写作规范
• references/visualization-best-practices.md - 可视化最佳实践
• references/common-pitfalls.md - 常见错误及修正方法

外部资源

• Nature 统计检查清单
• Science 可复现性指南
• NeurIPS 论文检查清单

最佳实践总结

数据分析

✅ 建议：

• 多次运行实验（至少 3-5 次）
• 报告完整的统计信息
• 使用合适的统计检验
• 检查数据完整性

❌ 禁止：

• 挑选最好的结果
• 宣称差异显著，但效应量和区间并不支持这一结论
• 隐瞒负面结果
• 不报告实验设置

可视化

✅ 建议：

• 使用矢量格式
• 使用适合色盲人士的配色方案
• 包含误差线
• 使用清晰的标签

❌ 禁止：

• 使用栅格格式（PNG/JPG）
• 使用误导性的坐标轴刻度
• 制作过于复杂的图表
• 缺少图例

写作

✅ 建议：

• 客观描述结果
• 提供充分的细节
• 明确报告无效结果和负面结果，并将其作为发现呈现
• 引导读者关注重点

❌ 禁止：

• 过度解读
• 隐瞒细节
• 夸大效果
• 描述含糊

总结

此技能提供了一套系统的实验结果分析工作流：

1. 数据加载与验证 - 确保数据质量
2. 统计分析 - 执行合适的统计检验
3. 模型比较 - 系统比较性能
4. 可视化 - 制作适合发表的图表
5. 写作 - 撰写结果部分内容
6. 质量检查 - 确保可复现性

遵循这些原则，可产出高质量、可复现的实验结果分析，满足顶级会议的标准。