MCP Server Dataset Builder

MCP 服务数据集构建器

一款用于构建和维护 Model Context Protocol（MCP）服务数据集的综合工具。该工具会自动从多个来源收集、分类和更新 MCP 服务信息。

概述

MCP 服务数据集构建器旨在：

1. 从 awesome-mcp-servers 仓库提取 MCP 服务信息
2. 在 GitHub 上搜索其他 MCP 服务仓库
3. 合并并去重来自两个来源的数据
4. 每日生成 CSV 文件，全面记录各个服务的信息

功能

• 双数据源：整合精选列表和 GitHub 搜索结果
• 自动分类：根据仓库内容分配类别
• 技术栈检测：识别编程语言和框架
• 表情符号标记：添加视觉标识，便于快速识别
• 每日更新：自动运行以保持数据集为最新状态
• 数据持久化：保留历史数据，同时添加新条目

数据集结构

生成的 CSV 文件包含以下字段：

字段	描述
name	仓库名称
description	仓库描述
html_url	仓库 URL
stars	GitHub 星标数
forks	GitHub 复刻数
keywords	以逗号分隔的关键词列表
category	主要类别（例如，框架、工具、客户端）
techstack	以逗号分隔的技术列表
emojis	便于快速识别的视觉标识

使用方法

自动每日更新

数据集通过 GitHub Actions 每日自动更新，无需手动操作。

手动触发

你可以在 GitHub Actions 选项卡中手动触发工作流：

1. 转到仓库中的“Actions”选项卡
2. 选择“Unified MCP Servers Extraction”
3. 点击“Run workflow”
4. 可以选择自定义以下内容：
   • GitHub 搜索关键词
   • 星标数和复刻数的最低阈值
   • 要运行的提取方法

本地开发

要在本地运行脚本：

# Install dependencies
pip install -r requirements.txt

# Run README extraction
python extract_mcp_servers.py

# Run GitHub search
python daily.py

环境变量

可以使用以下环境变量自定义行为：

变量	描述	默认值
GITHUB_TOKEN	用于身份验证的 GitHub API 令牌	-
KEYWORDS_ENV	以逗号分隔的搜索关键词列表	与 MCP 相关的关键词
MIN_STARS	仓库的最低星标数	10
MIN_FORKS	仓库的最低复刻数	5

数据来源

1. Awesome MCP Servers 仓库

该工具会从 awesome-mcp-servers 仓库提取数据。该仓库按类别整理了精选的 MCP 服务列表。

2. GitHub 搜索

该工具会在 GitHub 上搜索与 MCP 相关关键词匹配的仓库，以确保全面覆盖整个生态系统。

分类系统

根据仓库的内容和用途对其进行分类：

• 框架：核心 MCP 服务实现
• 工具：辅助工具和实用程序
• 客户端：客户端库和应用程序
• 教程：学习资源和示例
• 数据库：数据库集成
• API：API 实现
• 存储：存储解决方案
• AI：AI 和大模型集成
• 聊天：聊天和消息传递功能
• 搜索：搜索功能

技术栈检测

该工具可识别以下技术：

• 语言：Python、TypeScript、Go、Rust、Java、C#
• 框架：FastAPI、Langchain、Spring
• 协议：SSE、WebSocket、HTTP
• 部署：云端、本地、Docker
• 平台：iOS、Windows、Linux

贡献

欢迎贡献！请随时提交 Pull Request。

许可证

本项目采用 MIT License 授权，详情请参阅 LICENSE 文件。