Scrape Everything

Scrape Everything MCP 服务

为 Scrape Everything 提供的 MCP 服务。将公开社交数据整理为清晰的 JSON。它让 Claude、Cursor、VS Code、Windsurf 及任何其他 MCP 客户端都能获取 Instagram、TikTok、X、YouTube、Facebook、Telegram、Spotify、Pinterest 和 Twitch 的公开数据。

• 每个 API 端点对应一个工具。 服务启动时会从 GET /v1/scrapers 读取实时目录，并为每个抓取器注册一个工具（instagram_profile、tiktok_posts、youtube_transcript 等）。无需更新软件包即可使用新端点。
• 支持离线运行。 如果无法获取目录，服务会使用内置快照启动。
• 先显示费用。 每个工具的说明都列出了费用积分和返回字段。调用失败时会退还费用。
• 提供易读的错误信息。 API 错误会作为工具错误返回，并保留错误 code 和 request_id。出现 RATE_LIMITED 时，错误中会包含 Retry-After 等待时间。服务不会自行重试。
• 限制结果大小。 结果以 JSON 文本形式返回，默认截断至 100k 个字符，并在发生截断时附带说明。
• 不发送遥测数据。 所有网络请求都只发送到 Scrape Everything API。

获取 API 密钥

在 https://scrapeeverything.com/dashboard/keys 创建密钥。密钥格式为 ssk_live_...。

安装

Claude Code

claude mcp add scrapeeverything -e SCRAPEEVERYTHING_API_KEY=ssk_live_... -- npx -y @scrapeeverything/mcp

Claude Desktop

编辑 claude_desktop_config.json（依次进入 Settings、Developer、Edit Config）：

{
  "mcpServers": {
    "scrapeeverything": {
      "command": "npx",
      "args": ["-y", "@scrapeeverything/mcp"],
      "env": { "SCRAPEEVERYTHING_API_KEY": "ssk_live_..." }
    }
  }
}

在 Windows 上，如果找不到 npx，请使用 "command": "cmd" 和 "args": ["/c", "npx", "-y", "@scrapeeverything/mcp"]。

Cursor

将以下内容添加到 ~/.cursor/mcp.json（全局）或 .cursor/mcp.json（项目）：

{
  "mcpServers": {
    "scrapeeverything": {
      "command": "npx",
      "args": ["-y", "@scrapeeverything/mcp"],
      "env": { "SCRAPEEVERYTHING_API_KEY": "ssk_live_..." }
    }
  }
}

VS Code（GitHub Copilot Agent 模式）

将以下内容添加到 .vscode/mcp.json。VS Code 会提示输入密钥并安全地保存：

{
  "inputs": [
    { "type": "promptString", "id": "scrapeeverything-key", "description": "Scrape Everything API key", "password": true }
  ],
  "servers": {
    "scrapeeverything": {
      "type": "stdio",
      "command": "npx",
      "args": ["-y", "@scrapeeverything/mcp"],
      "env": { "SCRAPEEVERYTHING_API_KEY": "${input:scrapeeverything-key}" }
    }
  }
}

也可以在终端中运行：

code --add-mcp '{"name":"scrapeeverything","command":"npx","args":["-y","@scrapeeverything/mcp"],"env":{"SCRAPEEVERYTHING_API_KEY":"ssk_live_..."}}'

Windsurf

将以下内容添加到 ~/.codeium/windsurf/mcp_config.json：

{
  "mcpServers": {
    "scrapeeverything": {
      "command": "npx",
      "args": ["-y", "@scrapeeverything/mcp"],
      "env": { "SCRAPEEVERYTHING_API_KEY": "ssk_live_..." }
    }
  }
}

自托管的可流式 HTTP

SCRAPEEVERYTHING_API_KEY=ssk_live_... npx -y @scrapeeverything/mcp --http --port 3333
# MCP endpoint: http://127.0.0.1:3333/mcp   health: /health

HTTP 模式无状态，且只接受 POST 请求。默认情况下，它会绑定到 127.0.0.1，并且只接受 Host 和 Origin 标头为回环地址（127.0.0.1、localhost、[::1]）的请求，以防止 DNS 重绑定。在回环地址上，每个请求都可以通过 Authorization: Bearer ssk_live_... 或 x-api-key 携带自己的密钥。如果请求没有密钥，服务将使用 SCRAPEEVERYTHING_API_KEY。

若要监听其他地址，必须设置入站身份验证令牌。未设置时，服务会拒绝启动，因此它绝不会成为消耗你密钥的开放代理：

SCRAPEEVERYTHING_MCP_AUTH_TOKEN="$(openssl rand -hex 32)" \
  npx -y @scrapeeverything/mcp --http --host 0.0.0.0 --port 3333 --allowed-host mcp.example.com

• 客户端发送 Authorization: Bearer <token>。令牌会以恒定时间进行比对，且长度必须至少为 16 个字符。
• 设置令牌后，每个客户端都必须在 x-api-key 中发送自己的 Scrape Everything 密钥。除非传入 --allow-shared-key，否则服务的 SCRAPEEVERYTHING_API_KEY 不会作为备用密钥使用。
• --allowed-host（可重复指定，也可通过逗号分隔的 SCRAPEEVERYTHING_MCP_ALLOWED_HOSTS 设置）会限制 Host 标头。发送 Origin 标头的请求必须与允许的主机或某个 --allowed-origin（SCRAPEEVERYTHING_MCP_ALLOWED_ORIGINS）匹配。
• 在服务前端（反向代理）终止 TLS，确保令牌和密钥不会以明文传输。

配置

变量	默认值	用途
SCRAPEEVERYTHING_API_KEY	（无）	API 密钥。抓取工具和 get_account 必需。
SCRAPEEVERYTHING_API_URL	https://api.scrapeeverything.com	API 基础 URL。必须使用 https，除非主机是回环地址（本地开发时使用 http://127.0.0.1:4001）。
SCRAPEEVERYTHING_MCP_AUTH_TOKEN	（无）	HTTP 模式：传入的 bearer 令牌。绑定到非回环主机时必需。
SCRAPEEVERYTHING_MCP_ALLOWED_HOSTS	（无）	HTTP 模式：允许的额外 Host 值，以逗号分隔。
SCRAPEEVERYTHING_MCP_ALLOWED_ORIGINS	（无）	HTTP 模式：允许的额外 Origin 值，以逗号分隔。
SCRAPEEVERYTHING_MCP_MAX_CHARS	100000	每个工具结果在截断前允许的最大字符数。
SCRAPEEVERYTHING_MCP_SCHEMA_ANYOF	关闭	设为 1，即可将 one_of 组作为顶层 anyOf 的 required 集合输出。

关于 one_of：某些端点接受多种输入之一，例如 url 或 shortcode。一些客户端会拒绝工具架构中的顶层 anyOf，其中包括 Anthropic 的 API。因此，默认情况下，该规则会写入架构／工具描述中，并由服务在调用 API 前进行检查，不会消耗额度。如果客户端支持 anyOf，请设置 SCRAPEEVERYTHING_MCP_SCHEMA_ANYOF=1。

工具

工具	额度	必需输入
get_account	0	（无）。返回电子邮件、套餐、额度以及速率／并发限制。
list_scrapers	0	可选的 platform
instagram_profile	1	username
instagram_photos	2	username
instagram_post	1	url 或 shortcode 之一
instagram_reel	1	url 或 shortcode 之一
instagram_comments	1	url 或 shortcode 之一
instagram_reels	2	username
instagram_reels_search	3	query
x_profile	1	username
x_posts	2	username
x_post	1	url 或 id 之一
tiktok_profile	1	username
tiktok_posts	1	username
tiktok_video	1	url、video 或 id 之一
tiktok_comments	1	url 或 id 之一
tiktok_transcript	1	url 或 id 之一
tiktok_music	2	url 或 id 之一
tiktok_hashtag	1	hashtag
youtube_profile	1	username 或 channel 之一
youtube_videos	1	username 或 channel 之一
youtube_video	1	url、id 或 video 之一
youtube_search	1	query
youtube_comments	1	url 或 id 之一
youtube_transcript	1	url 或 id 之一
youtube_playlist	1	url 或 id 之一
facebook_profile	1	username
telegram_profile	1	username
telegram_posts	2	username
telegram_post	1	url、post 或 username + id 之一
spotify_track	1	url、id 或 track 之一
spotify_artist	1	url、id 或 artist 之一
spotify_album	1	url、id 或 album 之一
spotify_playlist	1	url、id 或 playlist 之一
pinterest_profile	1	username
pinterest_pins	2	username
pinterest_pin	1	url 或 id 之一
pinterest_search	2	query
pinterest_board	2	url 或 username + board 之一
twitch_channel	1	username
twitch_videos	1	username
twitch_clips	1	username

实时目录是准确信息的唯一来源。请让你的助手运行 list_scrapers，查看当前列表。

开发

npm install
npm run build
npm test
npm run update-catalog   # refresh catalog/scrapers.json (honours SCRAPEEVERYTHING_API_URL)
node dist/index.js --help

使用 npx @modelcontextprotocol/inspector node dist/index.js 以交互方式检查服务。

组织和范围占位符

org.config.json 是记录 GitHub 组织（scrapeeverything）和 npm 作用域（@scrapeeverything）的唯一位置。若要更改它们，请运行：

npm run apply-org -- --github-org <org> --npm-scope @<scope>

这会重写 package.json（name、mcpName、repository）、server.json、smithery.yaml 和此 README。MCP Registry 名称 io.github.<org>/mcp 必须与发布它的 GitHub 组织一致。glama.json 列出了 Glama 维护者的 GitHub 用户名，因此请在其中填写创始人的 GitHub 用户名。

发布

1. 运行 npm version patch（或 minor/major）。这也会同步 server.json。
2. 运行 git push --follow-tags。
3. release.yml 工作流会使用来源证明（NPM_TOKEN 密钥）发布到 npm，然后通过 GitHub OIDC 将 server.json 发布到官方 MCP Registry。

关于 Scrape Everything

Scrape Everything 是一个提供公开社交媒体数据的 REST API。发送用户名、链接或 ID，即可从 Instagram、TikTok、X、YouTube、Facebook、Telegram、Spotify、Pinterest 和 Twitch 获取规范化的类型化 JSON。每次成功请求按次付费，预付额度永不过期。新账户注册后可获得 100 个免费额度。https://scrapeeverything.com

许可证

MIT © 2026 Scrape Everything