mcpField
M
multi-scraper-mcp

multi-scraper-mcp

本地服务
github.com/Perufitlife浏览器自动化420 周前更新

关于 multi-scraper-mcp

multi-scraper-mcp 是托管型 MCP 服务,通过 12 种网页抓取工具为 Agent 提供结构化数据,覆盖电商、评论、本地商家、招聘和 SaaS 定价等来源。

主要功能

  1. 01抓取 Reddit 帖子和讨论
  2. 02搜索商品及已售商品
  3. 03查找本地商家和评论
  4. 04获取招聘与创作者数据
  5. 05提取联系信息和 SaaS 定价

适用场景

  1. 01跨平台调研商品价格
  2. 02建立本地商家潜在客户名单
  3. 03监测品牌评论和投诉
  4. 04跟踪竞争对手定价变化

MCP 相关

该服务通过 Streamable HTTP 向 MCP 客户端提供 12 种抓取工具,并为旧版客户端提供 SSE 传输。客户端使用 Apify 令牌连接其托管端点进行身份验证。

配置

本地服务的配置在各客户端中通用,复制后粘贴到客户端的 MCP 配置文件即可。

mcp.json · 通用配置
{
"mcpServers": {
"perufitlife-multi-scraper": {
"command": "npx",
"args": [
"-y",
"multi-scraper-mcp"
],
"env": {
"APIFY_TOKEN": "<APIFY_TOKEN>"
}
}
}
}
启动命令npx -y multi-scraper-mcp
需要配置的环境变量
APIFY_TOKEN密钥Your Apify API token (free at https://console.apify.com/account/integrations)

本地服务需要在你的电脑上安装运行环境(如 Node.js 18+)。各客户端的配置文件位置不同,请参考客户端文档。

安装包
npmmulti-scraper-mcp1.0.1

工具

14

收录的工具列表 · 更新于 2 周前

参数类型必填说明
sortByenum否hot | new | top | rising
postUrlsarray否用于抓取评论的 Reddit 帖子直达 URL
subredditsarray否不带 r/ 前缀的 subreddit 名称,例如 ["technology", "SaaS"]
timeFilterenum否sortBy 为 "top" 时的时间范围hour | day | week | month | year | all
searchQueriesarray否用于在整个 Reddit 中搜索的关键词,例如 ["best CRM for small business"]
includeCommentsboolean否同时获取每篇帖子的评论(速度较慢,但更全面)
maxCommentsPerPostinteger否includeComments 为 true 时每篇帖子的最大评论数
maxPostsPerSubredditinteger否每个 subreddit/查询的最大帖子数(1-500)。为快速获得结果,请保持较低值(10-25)。

详细介绍

Multi-Scraper MCP — 为 AI Agent 提供 12 种抓取工具,一个 MCP 服务

通过单个连接为 AI Agent 提供实时网页数据。此 Model Context Protocol 服务向 Claude、ChatGPT、Cursor、Cline、Windsurf 或任何 MCP 客户端提供 12 种生产级抓取工具,涵盖 Reddit、Amazon、eBay、Google Maps(搜索 + 评论)、Yelp、YouTube、TikTok、Indeed、Trustpilot、网站联系信息查找和 SaaS 定价追踪。

一个端点。12 种工具。仅按 Agent 发出的调用付费。

12 种工具

工具Agent 可获取的内容
reddit_scrape子版块帖子、全 Reddit 搜索、评论串——情绪与市场调研
amazon_search商品、价格、评分、ASIN——覆盖 10 个市场(US/UK/DE/FR/IT/ES/CA/AU/JP/IN)
ebay_search实时商品信息 + 已售商品信息,用于了解真实市场价格走势
google_maps_search本地商家:名称、地址、电话、网站、评分、GPS
google_maps_reviews任意 Google Maps 地点的完整评论文本 + 评分
yelp_search通过官方 Fusion API 获取 Yelp 商家信息(需自备免费的 Yelp 密钥)
youtube_channel频道统计数据 + 最新视频指标
tiktok_profile创作者资料、视频统计数据、话题标签发现
indeed_jobs带薪资数据的职位信息——覆盖 7 个国家,可按日期和类型筛选
trustpilot_reviews公司评论——使用 filterByRating: 1 挖掘投诉
website_contacts获取任意域名的电子邮件、电话、社交链接和技术栈
saas_pricing从任意 SaaS 定价页面提取结构化定价层级 + 变更检测

快速开始

你需要一个 Apify 账户(免费套餐即可)以及从 Console → Settings → API & Integrations 获取的 API 令牌。

MCP 端点(Streamable HTTP):

https://renzomacar--multi-scraper-mcp.apify.actor/mcp

使用 Authorization: Bearer <YOUR_APIFY_TOKEN> 进行身份验证(或追加 ?token=<YOUR_APIFY_TOKEN>)。

Claude Code
claude mcp add --transport http multi-scraper \
  "https://renzomacar--multi-scraper-mcp.apify.actor/mcp" \
  --header "Authorization: Bearer YOUR_APIFY_TOKEN"
Claude Desktop

进入 Settings → Developer → Edit Config,然后添加:

{
  "mcpServers": {
    "multi-scraper": {
      "command": "npx",
      "args": [
        "mcp-remote",
        "https://renzomacar--multi-scraper-mcp.apify.actor/mcp",
        "--header",
        "Authorization: Bearer YOUR_APIFY_TOKEN"
      ]
    }
  }
}
Cursor / Windsurf / Cline

添加到 MCP 配置(例如 .cursor/mcp.json):

{
  "mcpServers": {
    "multi-scraper": {
      "url": "https://renzomacar--multi-scraper-mcp.apify.actor/mcp",
      "headers": { "Authorization": "Bearer YOUR_APIFY_TOKEN" }
    }
  }
}
ChatGPT(开发者模式连接器)

进入 Settings → Connectors → Advanced → Developer mode → Add custom connector,并填写 URL:

https://renzomacar--multi-scraper-mcp.apify.actor/mcp?token=YOUR_APIFY_TOKEN
旧版 SSE 客户端

也可通过 /sse(+ /messages)使用 SSE 传输,适用于较旧的客户端。

定价——透明的按事件付费

事件价格
工具调用(成功)$0.05
Actor 启动(唤醒待机实例)每 GB $0.00005
  • 无订阅、无最低消费——仅当 Agent 实际调用工具时才付费。
  • 底层抓取器在你的 Apify 账户下运行,按各自标明的费率收费(通常每条结果仅需几分之一美分)。
  • 工具调用失败不收费。

各工具说明

  • yelp_search 需要 Yelp Fusion API 密钥——免费,每天可调用 5,000 次,可在 docs.developer.yelp.com 用 2 分钟获取。将其作为 yelpApiKey 工具参数传入。
  • reddit_scrape 在 Reddit 关闭公开 .json 端点后仍可正常运行(2026 年 6 月,全面返回 403):现在会通过断路器回退到 Reddit RSS 源,因此仍能持续返回帖子。在 RSS 模式下,条目不包含分数/评论数(source: rss-fallback)。
  • 为保证 Agent 工作循环响应迅速,请将 maxResults* 设得较小(10–30);批量调研时可调高。

示例 Agent 工作流

  • 本地潜在客户开发流程:google_maps_search(“迈阿密的牙医”)→ website_contacts(电子邮件 + 技术栈)→ 你的 CRM。
  • 产品情报:amazon_search + ebay_search(soldOnly)→ 实际市场价与标价对比。
  • 品牌/舆情监控:reddit_scrape + trustpilot_reviews(filterByRating: 1)+ google_maps_reviews → 每周投诉摘要。
  • 竞争对手监控:对竞争对手的定价页面运行 saas_pricing,并设置 compareWithPrevious: true → 价格变动时发出提醒。
  • 招聘信号挖掘潜在客户:indeed_jobs(“Shopify 开发者”)→ 正在加码电商的公司 → website_contacts。

为什么选择此服务

  • 每个工具都封装了经过实战检验的 Apify Actor(累计运行次数超过 4,000 次)。
  • 提供结构统一的 JSON,专为大模型处理而设计;结果经过截断,便于控制令牌用量。
  • 支持现代 Streamable HTTP(/mcp)和旧版 SSE(/sse)传输方式。
  • 开源项目:github.com/Perufitlife/multi-scraper-mcp。

觉得这个项目有用?

请在 Reviews 标签页留下简短评价——这确实有助于独立开发者在 Apify Store 上获得更多关注。谢谢!

评论

支持 Markdown

第一次接触 MCP?

从协议是什么,到在客户端里装上第一个服务,这几条回答覆盖了大多数入门问题。

一个开放协议,规定了 AI 应用如何以统一方式连接外部工具与数据源。客户端负责与模型对话,MCP 服务负责提供工具、资源和提示模板,两者通过标准消息通信,同一个服务可以被不同客户端复用。