Data Aggregator

Name: Data Aggregator
Author: musharna

本地服务

github.com/musharna搜索与检索43 天前更新

代码仓库

关于 Data Aggregator

Data Aggregator 是面向研究人员和 Agent 的 MCP 服务，可跨多个数据档案与文献来源查找公开研究数据。它会合并并去重结果，还可解析记录、关联数据集并检查许可元数据。

主要功能

01同时搜索 21 个公开数据源
02跨来源去重搜索结果
03解析记录及关联数据集
04按指定用途检查许可元数据
05导出 Croissant 或 RO-Crate

适用场景

01按物种或主题查找数据集
02追踪论文关联的数据集
03检查模型训练用途对应的许可权限
04查看研究记录之间的关联

MCP 相关

向 MCP 客户端提供搜索、解析、关联及其他研究数据操作。可选的 operate 扩展还支持对远程文件执行 SQL 和预览。

配置

本地服务的配置在各客户端中通用，复制后粘贴到客户端的 MCP 配置文件即可。

mcp.json · 通用配置

{
  "mcpServers": {
    "musharna-data-aggregator": {
      "command": "uvx",
      "args": [
        "data-aggregator-mcp"
      ],
      "env": {
        "NCBI_API_KEY": "<NCBI_API_KEY>",
        "LLM_API_BASE": "<LLM_API_BASE>",
        "LLM_API_KEY": "<LLM_API_KEY>",
        "LLM_MODEL": "<LLM_MODEL>",
        "EMBEDDING_API_BASE": "<EMBEDDING_API_BASE>",
        "EMBEDDING_API_KEY": "<EMBEDDING_API_KEY>",
        "EMBEDDING_MODEL": "<EMBEDDING_MODEL>",
        "DATA_GOV_API_KEY": "<DATA_GOV_API_KEY>",
        "UNPAYWALL_EMAIL": "<UNPAYWALL_EMAIL>",
        "NCBI_EMAIL": "<NCBI_EMAIL>",
        "DATAVERSE_BASE_URL": "<DATAVERSE_BASE_URL>",
        "CACHE_TTL_SECONDS": "<CACHE_TTL_SECONDS>"
      }
    }
  }
}

启动命令uvx data-aggregator-mcp

需要配置的环境变量

NCBI_API_KEY密钥Optional NCBI E-utilities API key; raises the rate limit 3->10 req/s for omics, literature, and taxonomy lookups.

LLM_API_BASEBase URL of an OpenAI-compatible /chat/completions endpoint; enables search(understand=true) and search(multi_query=true).

LLM_API_KEY密钥Bearer token for the LLM endpoint (LLM_API_BASE); omit for keyless local servers.

LLM_MODELModel name passed to the LLM endpoint (default: gpt-4o-mini); set to whatever your endpoint serves.

EMBEDDING_API_BASEBase URL of an OpenAI-compatible /embeddings endpoint; enables search(rank=semantic) re-ranking.

EMBEDDING_API_KEY密钥Bearer token for the embeddings endpoint (EMBEDDING_API_BASE); omit for keyless local servers.

EMBEDDING_MODELModel name passed to the embeddings endpoint (default: text-embedding-3-small).

DATA_GOV_API_KEY密钥Optional api.data.gov key for the data.gov source; without it requests fall back to the shared public DEMO_KEY, which is aggressively rate-limited.

UNPAYWALL_EMAILEmail address sent to the Unpaywall API; required to enable the Unpaywall PDF fallback leg of literature full-text retrieval.

NCBI_EMAILContact address sent to NCBI's ID converter; falls back to UNPAYWALL_EMAIL when unset.

DATAVERSE_BASE_URLResolve Dataverse DOIs against a different installation (default: https://dataverse.harvard.edu).

CACHE_TTL_SECONDSResolve-cache lifetime in seconds (default: 3600); an unparseable value falls back to the default.

本地服务需要在你的电脑上安装运行环境（如 Node.js 18+）。各客户端的配置文件位置不同，请参考客户端文档。

安装包

pypidata-aggregator-mcp0.75.4stdio

工具

还没有获取到工具列表

本地服务需要在你的电脑上运行后才能读取工具，维护者暂未提供工具列表。

详细介绍

data-aggregator-mcp

data-aggregator-mcp 是一款 MCP 服务，可让 AI Agent 一次搜索 21 个公共研究数据源，并返回去重后的列表。

通过 stdio 实时调用：搜索 Orobanche aegyptiaca 的转录组数据，NCBI Taxonomy 将其扩展为 Phelipanche aegyptiaca，并返回来自 SRA、BioProject、PubMed、OpenAIRE 和 DataCite 的结果；将一条 SRA 结果解析为两个 FASTQ 文件，并显示大小和 md5 校验和；获取 OpenML ARFF 文件并验证其 md5；以及对 Hugging Face 上的远程 CSV 执行 SQL 查询，而无需下载文件

安装

Claude Code：

claude mcp add data-aggregator -- uvx data-aggregator-mcp

一键安装到 VS Code 或 Cursor：

其他 MCP 客户端：运行 uvx data-aggregator-mcp，将其作为 stdio 服务。

Claude Desktop、pip 和 operate 扩展

Claude Desktop（claude_desktop_config.json）和大多数其他客户端：

{
  "mcpServers": {
    "data-aggregator": {
      "command": "uvx",
      "args": ["data-aggregator-mcp"],
      "env": { "NCBI_API_KEY": "your-optional-key" }
    }
  }
}

使用 pip 安装：

pip install data-aggregator-mcp
data-aggregator-mcp        # or: python -m data_aggregator_mcp

operate（对远程文件执行 SQL 查询和预览）需要可选扩展： pip install "data-aggregator-mcp[operate]"。

可以询问什么

“查找 Orobanche aegyptiaca 的转录组。” 该物种已更名；NCBI Taxonomy 将其映射为 Phelipanche aegyptiaca，支持同义词的来源会同时匹配这两个名称（见上方演示）。

“这篇论文产生了哪些数据？”

resolve("pubmed:40098680")
  links  geo:GSE284240, bioproject:PRJNA1198054, and 18 sra: experiments
  files  PMC11910882.xml   (open-access full text)

“我可以用这个数据集训练模型吗？”

resolve("hf:scikit-learn/iris", use="ml-training")
  license_compat  ALLOW: "CC0-1.0 grants the permission(s) required for
                  ml-training: commercial-use, modifications"

结论依据记录中的许可证元数据；这只是建议，并非法律意见。resolve 还可按任意 CSL 样式生成引文、通过 Crossref 检查撤稿情况、评估 FAIR 程度，并导出 Croissant 或 RO-Crate。relate 会报告一组记录之间的关联方式（共享的登录号、DOI 或明确链接）。

搜索如何运行

一次搜索的运行过程：NCBI Taxonomy 将 Orobanche aegyptiaca 映射到其当前名称 Phelipanche aegyptiaca；接受同义词的来源会用两个名称进行搜索；查询会并行发送到 21 个来源（11 个档案库、9 个组学来源、1 个文献来源）；具有相同 DOI 的记录会合并为一条，并保留可下载的副本；随后可以将记录解析为文件和校验和，在获取文件时验证校验和（如果来源提供了校验和），也可以使用 SQL 查询，而无需下载文件

发生故障的来源会列在结果的 errors 中，绝不会被悄悄丢弃。

每个来源可以获取哪些内容，以及使用哪个校验和进行验证： docs/sources.md。

基准测试结果

我们将使用此服务的 Agent 与使用网页搜索的同一 Agent 进行了比较。测试对象是留出的数据集查找任务，依据独立构建的答案集按召回率评分，每项任务运行 3 次。平均召回率（服务与网页搜索）：Claude Haiku 5.5 为 0.47，网页搜索为 0.32（10 项任务中有 8 项更高）；Sonnet 5.5 为 0.54，网页搜索为 0.52（10 项中有 5 项更高）；Opus 5.5 为 0.72，网页搜索为 0.58（10 项中有 6 项更高）。对于 Haiku，服务达到了第 5 轮预先注册的“更好”规则（至少 10 项任务中有 8 项更高，区间高于 0），但未达到跨模型层级获胜的更严格标准（10 项中有 9 项，Holm 校正符号检验，p = 0.22）；Sonnet 和 Opus 均未达到任何一项标准。使用 Opus 时，服务返回的错误条目更少，回答时间约为网页搜索的三分之一；使用 Sonnet 时，服务在 10 项任务中的 9 项上更快；使用 Haiku 时，服务在 10 项任务中的 9 项上成本更低。

Opus 5.5 最近两轮的结果（2026-10-19，规则在运行前编写）：

提供给 Agent 的工具	第 4 轮（5 项任务）	第 5 轮（10 项任务）
此服务	0.66	0.72
网页搜索	0.66	0.58
ToolUniverse	0.59	0.63
不使用工具（仅依靠记忆）	0.02	0.09

第 5 轮中，此服务在 10 项任务中的 6 项上得分更高，而预设规则要求达到 8 项。网页搜索在 30 次运行中有 11 次触及 15 分钟时限，超时的运行得分为 0。在完成的运行中，网页搜索找到的内容更多（0.90）。服务的回答时间为 203 秒，网页搜索为 599 秒（中位数）；服务的工具调用更少，错误条目也更少（精确率为 0.95，网页搜索为 0.62）。服务的单次运行成本高于网页搜索（2.08 美元，网页搜索为 1.51 美元，按 API 等价成本计算）。

任务由我们自行选取，基准测试也由我们自行运行；欢迎外部复测。方法和控制措施： benchmarks/h2h； Haiku 和 Sonnet 的运行结果： 2026-10-20 复测。

与其他服务对比

服务	搜索范围	单次搜索	校验和	远程 SQL	许可证检查
data-aggregator-mcp	21 个来源：数据档案、组学、论文	是，按 DOI 去重	发布位置	是	是
Mobus	20 个通用和机器学习数据平台	是	—	行预览	是
paper-search-mcp	论文：arXiv、PubMed、OpenAlex、Crossref 等	是，去重	—	—	—
ToolUniverse	1000 多个工具：模型、数据集、API、软件包	论文	—	—	—
BioMCP	基因、变异、试验、药物、蛋白质、论文	是（`search all`）	—	—	—

— 表示项目的 README 未对此进行说明（README 查阅日期：2026-10-04）。其他项目更胜一筹的方面：BioMCP 涵盖临床试验、ChEMBL 和 AlphaFold； ToolUniverse 的整体覆盖面广得多；paper-search-mcp 涵盖的文献来源多得多；Mobus 还会比较数据集并检查架构兼容性。更多信息：docs/POSITIONING.md。