mcpField
D
deep-research

deep-research

github.com/lingzhi227生产力4401.9k 次安装35 周前更新
代码仓库

关于 deep-research

用于系统开展学术文献综述的 Claude 技能,按六个阶段依次完成论文发现、深入阅读与报告汇编。适合需要结构化笔记、精选论文数据库和综合报告的研究者。

主要功能

  1. 01六阶段文献综述工作流
  2. 02从学术来源检索论文
  3. 03整理 JSONL 论文数据库
  4. 04生成全文阅读结构化笔记
  5. 05调查代码与工具生态
  6. 06汇编报告和参考文献

适用场景

  1. 01调研某个主题的学术成果
  2. 02追踪前沿论文与近期趋势
  3. 03比较研究发现并识别空白
  4. 04汇编带参考文献的综述报告

安装

复制下面的命令,在终端中运行。

$npx skills add https://github.com/lingzhi227/agent-research-skills --skill deep-research

安装后在 Claude Code 中输入/deep-research确认已加载。

包含的文件

除 SKILL.md 外,安装时一起下载的参考资料和脚本。

references/
api-reference.md
note-format.md
workflow-phases.md
scripts/
bibtex_manager.py
compile_report.py
download_papers.py
extract_pdf.py
paper_db.py
search_arxiv.py
search_semantic_scholar.py

详细介绍

深度研究技能

触发条件

当用户希望进行以下操作时,启用此技能:

  • “研究某个主题”、“文献综述”、“查找关于某个主题的论文”、“调研某个主题的论文”
  • “深入研究 [主题]”、“[主题] 的最新进展是什么”
  • 使用 /research <topic> 斜杠命令

概述

此技能分 6 个阶段开展系统性学术文献综述,生成结构化笔记、精选论文数据库和综合性最终报告。为便于理解,输出按阶段组织。

安装位置:~/.claude/skills/deep-research/ — 脚本、参考资料和此技能定义。 输出位置:相对于当前工作目录的 .//Users/lingzhi/Code/deep-research-output/{slug}/。

重要:严格按顺序执行各阶段

必须严格按顺序执行全部 6 个阶段:1 → 2 → 3 → 4 → 5 → 6。绝不可跳过任何阶段。

这是此技能中最重要的一条规则。违规行为包括:

  • ❌ 从第 2 阶段直接跳到第 5/6 阶段(跳过深度阅读和代码阶段)
  • ❌ 未完成第 3 阶段的深度阅读就撰写综合分析或报告
  • ❌ 仅根据搜索结果中的摘要/标题生成最终报告
  • ❌ 合并阶段(例如,同时进行“第 3-5 阶段”)
阶段门禁流程

开始第 N+1 阶段前,必须确认第 N 阶段的必需输出文件已存在于磁盘上。若文件不存在,则说明该阶段尚未完成。

阶段门禁:必需输出文件
1 → 2phase1_frontier/frontier.md 存在,且包含 ≥10 篇论文
2 → 3phase2_survey/survey.md 存在,且 paper_db.jsonl 中有 35-80 篇论文
3 → 4phase3_deep_dive/selection.md 和 phase3_deep_dive/deep_dive.md 均存在,且 deep_dive.md 包含 ≥8 篇论文的详细笔记
4 → 5phase4_code/code_repos.md 存在,且包含 ≥3 个代码仓库
5 → 6phase5_synthesis/synthesis.md 和 phase5_synthesis/gaps.md 均存在

完成每个阶段后,打印阶段完成检查点:

✅ Phase N complete. Output: [list files written]. Proceeding to Phase N+1.
各阶段的重要性
  • **第 3 阶段(深度阅读)**是实际阅读论文的阶段——缺少此阶段,综合分析就会流于表面,仅基于摘要
  • **第 4 阶段(代码与工具)**将研究落到实际实现中——缺少此阶段,你会错过开源生态
  • **第 5 阶段(综合分析)**需要第 3 阶段的深入了解——你无法综合分析尚未读过的论文
  • **第 6 阶段(报告)**汇总此前所有阶段的内容——应引用第 3 阶段笔记中的具体发现

论文质量政策

同行评审的会议论文优先于 arXiv 预印本。 许多 arXiv 论文未经同行评审,可能包含未经验证的结论。

来源优先级(从高到低)
  1. 顶级 AI 会议:NeurIPS、ICLR、ICML、ACL、EMNLP、NAACL、AAAI、IJCAI、CVPR、KDD、CoRL
  2. 同行评审期刊:JMLR、TACL、Nature、Science 等
  3. 研讨会论文:NeurIPS/ICML 研讨会论文(标准较低,但仍经过评审)
  4. 高引用量的 arXiv 预印本:质量可能较高,但未经验证
  5. 最新 arXiv 预印本:谨慎使用,并明确注明“预印本”状态
arXiv 论文的使用场景
  • 作为补充证据,与同行评审成果并用
  • 用于尚未在会议上发表的最新研究成果(不到 3 个月)
  • 尚无同行评审版本时——在引文中注明 (preprint)
  • 用于综述论文(即使未经同行评审,这类论文仍然有用)

搜索工具(按优先级排序)

1. paper_finder(主要工具——仅限会议论文)

位置:/Users/lingzhi/Code/documents/tool/paper_finder/paper_finder.py

在 ai-paper-finder.info(HuggingFace Space)上搜索已发表的会议论文。支持按会议和年份筛选。输出包含 BibTeX 的 JSONL。

python /Users/lingzhi/Code/documents/tool/paper_finder/paper_finder.py --mode scrape --config <config.yaml>
python /Users/lingzhi/Code/documents/tool/paper_finder/paper_finder.py --mode download --jsonl <results.jsonl>
python /Users/lingzhi/Code/documents/tool/paper_finder/paper_finder.py --list-venues

配置示例:

searches:
  - query: "long horizon reasoning agent"
    num_results: 100
    venues:
      neurips: [2024, 2025]
      iclr: [2024, 2025, 2026]
      icml: [2024, 2025]
output:
  root: /Users/lingzhi/Code/deep-research-output/{slug}/phase1_frontier/search_results
  overwrite: true
2. search_semantic_scholar.py(补充——引文数据和更广泛的覆盖范围)

位置:/Users/lingzhi/.claude/skills/deep-research/scripts/search_semantic_scholar.py 支持 --peer-reviewed-only 和 --top-conferences 筛选。API 密钥:/Users/lingzhi/Code/keys.md(字段 S2_API_Key)

3. search_arxiv.py(补充——最新预印本)

位置:/Users/lingzhi/.claude/skills/deep-research/scripts/search_arxiv.py 用于搜索尚未在会议上发表的近期论文。引用时请标注 (preprint)。

其他脚本
脚本位置主要标志
download_papers.py~/.claude/skills/deep-research/scripts/--jsonl、--output-dir、--max-downloads、--sort-by-citations
extract_pdf.py~/.claude/skills/deep-research/scripts/--pdf、--pdf-dir、--output-dir、--sections-only
paper_db.py~/.claude/skills/deep-research/scripts/子命令:merge、search、filter、tag、stats、add、export
bibtex_manager.py~/.claude/skills/deep-research/scripts/--jsonl、--output、--keys-only
compile_report.py~/.claude/skills/deep-research/scripts/--topic-dir
WebFetch 模式(无 Bash)
  1. 论文发现:使用 WebSearch + WebFetch 查询 Semantic Scholar/arXiv API
  2. 论文阅读:通过 WebFetch 访问 ar5iv HTML,或使用 Read 工具阅读已下载的 PDF
  3. 写作:使用 Write 工具编写 JSONL、笔记和报告文件

6 阶段工作流

阶段 1:前沿

搜索最新的会议论文集和预印本,了解当前趋势。

  1. 编写 phase1_frontier/paper_finder_config.yaml,目标为最近 1-2 年
  2. 运行 paper_finder 抓取
  3. 使用 WebSearch 查找最新的录用论文列表
  4. 确定热门方向和关键突破 → 输出:phase1_frontier/frontier.md、phase1_frontier/search_results/
阶段 2:综述

通过扩大时间范围,构建全面的领域概览。筛选后目标为 35-80 篇论文。

  1. 编写 phase2_survey/paper_finder_config.yaml,覆盖 2023-2025 年
  2. 运行 paper_finder + Semantic Scholar + arXiv
  3. 合并所有结果:python /Users/lingzhi/.claude/skills/deep-research/scripts/paper_db.py merge
  4. 筛选出最相关的 35-80 篇:python /Users/lingzhi/.claude/skills/deep-research/scripts/paper_db.py filter --min-score 0.80 --max-papers 70
  5. 按主题聚类并撰写综述笔记 → 输出:phase2_survey/survey.md、phase2_survey/search_results/、paper_db.jsonl
阶段 3:深入研究 ⚠️ 切勿跳过

此阶段为必做项。 必须实际阅读 8-15 篇论文的全文,而不只是阅读摘要。

  1. 从 paper_db.jsonl 中选择 8-15 篇论文并说明理由 → 写入 phase3_deep_dive/selection.md
  2. 下载 PDF:python download_papers.py --jsonl paper_db.jsonl --output-dir phase3_deep_dive/papers/ --sort-by-citations --max-downloads 15
  3. 对于每篇选定的论文,阅读全文(使用 Read 阅读 PDF,或通过 WebFetch 访问 ar5iv 阅读 HTML)
  4. 为每篇论文撰写详细的结构化笔记(参见 note-format.md 模板):问题、贡献、方法、实验、局限性、关联
  5. 将所有笔记写入 phase3_deep_dive/deep_dive.md

阶段 3 门槛:deep_dive.md 必须包含至少 8 篇论文的详细笔记,且每篇都填写了方法和实验部分。仅含摘要的总结不计入。

→ 输出:phase3_deep_dive/selection.md、phase3_deep_dive/deep_dive.md、phase3_deep_dive/papers/

第 4 阶段:代码与工具 ⚠️ 请勿跳过

**此阶段为必做项。**你必须调研开源生态。

  1. 从第 3 阶段阅读的论文中提取 GitHub URL
  2. 使用 WebSearch 搜索实现:“site:github.com {method name}”、“site:paperswithcode.com {topic}”
  3. 对找到的每个仓库,记录 URL、星标数、语言、最后更新时间、文档质量
  4. 搜索相关基准和数据集
  5. 写入 → phase4_code/code_repos.md(必须包含 ≥3 个仓库)

第 4 阶段门槛:code_repos.md 必须存在,且包含至少 3 个带元数据的仓库。

→ 输出:phase4_code/code_repos.md

第 5 阶段:综合分析(需完成第 3 + 4 阶段)

跨论文分析。同行评审的研究发现权重更高。 此阶段必须基于第 3 阶段的详细笔记和第 4 阶段的代码生态分析。 分类体系、对比表、差距分析。

开始前:确认 phase3_deep_dive/deep_dive.md 和 phase4_code/code_repos.md 已存在。若不存在,请先返回并完成相应阶段。

→ 输出:phase5_synthesis/synthesis.md、phase5_synthesis/gaps.md

第 6 阶段:编纂(需完成第 1–5 阶段)

根据之前所有阶段的输出编写最终报告。引用预印本时,在末尾标注 (preprint)。

开始前:确认所有阶段的输出均已存在:

  • phase1_frontier/frontier.md
  • phase2_survey/survey.md
  • phase3_deep_dive/deep_dive.md
  • phase4_code/code_repos.md
  • phase5_synthesis/synthesis.md + gaps.md

如果有任何文件缺失,请先返回并完成缺失的阶段。

→ 输出:phase6_report/report.md、phase6_report/references.bib

输出目录

output/{topic-slug}/
├── paper_db.jsonl                    # Master database (accumulated)
├── phase1_frontier/
│   ├── paper_finder_config.yaml
│   ├── search_results/
│   └── frontier.md
├── phase2_survey/
│   ├── paper_finder_config.yaml
│   ├── search_results/
│   └── survey.md
├── phase3_deep_dive/
│   ├── papers/
│   ├── selection.md
│   └── deep_dive.md
├── phase4_code/
│   └── code_repos.md
├── phase5_synthesis/
│   ├── synthesis.md
│   └── gaps.md
└── phase6_report/
    ├── report.md
    └── references.bib

关键约定

  • 论文 ID:如果有 arxiv_id,则使用该 ID;否则使用 Semantic Scholar 的 paperId
  • 引用:采用 [@key] 格式,key = firstAuthorYearWord(例如 [@vaswani2017attention])
  • JSONL 架构:title、authors、abstract、year、venue、venue_normalized、peer_reviewed、citationCount、paperId、arxiv_id、pdf_url、tags、source
  • 预印本标注:引用未经同行评审的研究时,务必标注 (preprint)
  • 增量保存:每个阶段完成后立即写入磁盘
  • 论文数量:最终 paper_db.jsonl 目标为 35–80 篇论文(使用 paper_db.py filter)

参考资料

  • /Users/lingzhi/.claude/skills/deep-research/references/workflow-phases.md — 6 阶段方法详述
  • /Users/lingzhi/.claude/skills/deep-research/references/note-format.md — 笔记模板、BibTeX 格式、报告结构
  • /Users/lingzhi/.claude/skills/deep-research/references/api-reference.md — arXiv、Semantic Scholar、ar5iv API 指南

相关技能

评论

支持 Markdown