extract-methodology

提取方法论

概述

此技能旨在深入分析科学论文，结构化提取实验方法、算法／系统流程、所用数据集、超参数和性能测试结果，准确率达 100%。这在研究人员希望复现先前研究或比较基线时非常有用。

依赖项

• literature-search-openalex
• literature-search-arxiv
• pubmed-database

快速开始

使用示例： “使用 extract-methodology 技能，从 GPT-3 论文中提取模型架构、数据集和超参数。”

工作流

1. 确定提取目标

• 确定要提取的技术要素（例如，模型名称、数据集、F1-score／Accuracy 指标、优化器、学习率、所用硬件）。

2. 获取与预解析论文（强制筛选章节）

• 使用文献检索工具查找论文 ID 或论文 URL。
• 执行程序化辅助工具（必须）：手动提取前，运行章节解析脚本，筛选方法、设置和结果部分，以防止大模型出现 context overload（上下文过载）（使用此技能安装目录中 parse_sections.py 的绝对路径）：

  python "<PATH_KE_SKILL>/scripts/parse_sections.py" --input paper_text.md --output sections.json
  

• 深入评估 sections.json 中的章节片段。不要仅根据摘要进行推断。

3. 提取结构化信息（10 个必需组成部分）

将信息精确提取到 Markdown 表格或 JSON 架构中，涵盖以下组成部分：

1. 论文目标：作者希望解决的具体问题。
2. 数据集：数据集名称、规模、来源、标签、数据时间范围、train／val／test 划分，以及数据增强技术（如有）。
3. 预处理：清理、归一化、分词或特征提取步骤。
4. 模型／方法：所用主要算法及用于比较的基线。
5. 架构：模型架构细节、网络结构、激活函数、参数数量或系统流程图。
6. 参数：超参数、学习率、优化器（例如，AdamW）、批次大小、轮数、损失函数，以及软硬件环境详情。
7. 评估：测试指标（例如，Accuracy、F1-Score、RMSE）、测试场景、交叉验证（cross-validation）。
8. 主要结果：论文实验结果表格／正文中明确报告的模型性能数据。
9. 局限性：作者承认的障碍／限制，或 Agent 通过批判性分析发现的方法局限。
10. 可复现性：源代码仓库的可用状态（GitHub／GitLab 链接）、安装说明，以及数据集的可访问性（公开或私有）。

4. 可复现性分析（可复现性检查）

• 评估论文是否提供了足够的信息以便重新实现（复现）。

5. 报告提取结果

• 使用结构化要点和数据表，撰写简洁、直截了当的技术总结。避免不必要的冗长叙述。

Few-Shot 指南（正确与错误示例）

❌ [错误] 含糊推断／编造

学习率：通常为 0.001，使用 Adam。
数据集规模：未提及，但看起来规模很大。

✅ [正确] 基于事实且精确的提取

学习率：未报告
数据集规模：50,000 条交易样本（表 1，第 4 页）

常见错误与关键规则（防止幻觉）

• 只阅读摘要：摘要很少包含技术细节。Agent 必须查阅论文正文。
• 无证据的声明与参数幻觉（致命）：严禁编造技术数值！
  • 如果论文中未提及某个超参数，必须写明 “未报告”（不得编造数值或使用常见默认值）。
  • 如果数据集不明确，必须写明 “未明确说明”。
  • 如果性能结果以图表形式呈现，且没有明确的表格数值，必须注明数值是根据图表进行的视觉估算，并说明估算范围。
• 苹果与橘子的比较（错误等同）：如果数据集、实验配置或测试场景不同，严禁直接比较不同论文之间的性能。
• 来源引用：提取的每个数值或参数都必须引用原论文中的具体位置（例如，表 2、第 5 页，第 2 栏）。