关于 analyze-results
用于分析 JSON 或 CSV 实验结果的研究技能。它整理对比数据、检查统计模式,并将观察结果归纳为发现和后续实验建议。
主要功能
- 01定位 JSON 和 CSV 结果
- 02构建变量对比表
- 03计算相对基线的变化
- 04汇总多种子均值与波动
- 05识别趋势与异常值
- 06建议后续实验
适用场景
- 01比较模型或超参数实验
- 02检查不同随机种子的可复现性
- 03调查异常结果
安装
复制下面的命令,在终端中运行。
$
npx skills add https:/ / github.com/ wanshuiyin/ auto-claude-code-research-in-sleep --skill analyze-results安装后在 Claude Code 中输入/analyze-results确认已加载。
详细介绍
分析实验结果
分析:$ARGUMENTS
工作流
步骤 1:定位结果
查找所有相关的 JSON/CSV 结果文件:
- 检查
figures/、results/或项目专用的输出目录 - 将 JSON 结果解析为结构化数据
步骤 2:构建对比表
按以下项目整理结果:
- 自变量:模型类型、超参数、数据配置
- 因变量:主要指标(例如困惑度、准确率、损失)、次要指标
- 相对基线的变化:始终计算相对改进幅度
步骤 3:统计分析
- 如果有多个随机种子:报告均值 +/- 标准差,并检查可复现性
- 如果对某个参数进行了扫描:识别趋势(单调变化、U 形、平台期)
- 标记离群值或可疑结果
步骤 4:生成洞见
对于每项发现,按以下结构组织:
- 观察:数据呈现的情况(附具体数字)
- 解释:可能的原因
- 意义:这对研究问题意味着什么
- 下一步:设计能验证这一解释的实验
步骤 5:更新文档
如果发现具有重要意义:
- 提议更新项目笔记或实验报告
- 起草简洁的发现陈述(1-2 句话)
输出格式
始终包含:
- 原始数据表
- 关键发现(编号列出,简洁明了)
- 建议的后续实验(如有)
评论
支持 Markdown