apify-scrapers

mcp-name: io.github.jlucasmcrell/apify-scrapers

Apify 公共数据 MCP：40 种生产级数据工具与公共记录

一个 MCP 服务为 AI Agent 提供 40 种生产级数据提取工具——Google Maps 商业线索、Google News、Google Autocomplete、LinkedIn 和 Glassdoor 职位、SEC EDGAR、USAspending、Grants.gov、TED 招标、NHTSA 召回信息、FEC、EPA、ClinicalTrials.gov、openFDA、Europe PMC、GLEIF、CMS 服务提供商、Census 地理编码、州企业注册信息、承包商许可证、Airbnb、YouTube、Twitch 和 Google Play——每种工具都以 Actor 的形式在你自己的 Apify 账户中运行。使用 uvx apify-data-scrapers 安装（支持 Claude Desktop、Cursor 和任何 MCP 客户端），也可以通过 Python、Node.js 或无代码工具直接调用相同的 Actor。

每个 Actor 都采用严格的架构验证、确定性字段映射、自修复 DOM 选择器和按事件计费的定价（每条结果 $0.00015 起，Actor 启动费用 $0.0005 起；实际价格以 Apify Store 当前标价为准）。

---

运行时约定与费用控制

自 1.1.0 版起，调用会在 MCP 结构化内容和文本中都返回 {results, status, run?}。状态为 success、partial、empty_unverified 或 error；错误包含稳定的代码和重试指引。结果行数为零并不能证明不存在匹配记录。现有集成如果解析的是裸结果数组，现在必须读取 results。原生数据集字段名称保持不变。

每次调用默认请求 120 秒的 Actor 超时和 $1 的按事件计费上限。设置 APIFY_MAX_CHARGE_USD 可调整上限。此上限针对单次运行，并非账户总支出限额；Actor 事件费用之外的平台费用仍可能适用。最多可并发运行四次调用。取消请求时会尝试中止云端运行；如果未能确认，请检查返回的运行 ID。启动结果不明确时绝不会自动重试。

MCP 可执行程序使用 Python；Node.js 文件是直接调用 Actor API 的示例，并非第二个 MCP 服务。此公共目录未收录私有队列中的 Actor。

快速导航

• Make.com 模板
• 用例指南
• 可用提取工具与 Store 列表
• Python 快速入门
• Node.js 快速入门
• 无代码与自动化工作流（n8n、Sheets、Slack）
• 预构建示例任务（零代码）
• 免费示例数据集
• AI Agent 与 MCP 集成（Claude Desktop、Cursor、自定义 Agent）
• 深入工程指南
• 仓库结构
• 贡献与作者

---

选择工具

选择专注的工具配置，并生成安装配置。

1.2.0 版本新增了可选的 APIFY_TOOL_PROFILE 环境变量：all（默认）、leads、market、government 或 research。这些配置对应下方目录中的四个类别。配置会限制工具的发现与调用、提示词和 Actor 目录。更改配置后，请重启 MCP 服务并刷新或重新连接客户端。如果不希望同时加载完整目录，请只保留专注型服务条目。直接调用 Actor API 的示例不受影响；此设置不构成 Apify 帐户权限边界。

选择你的首个工作流

你的目标	从这里开始	预期内容
建立本地承包商潜在客户名单	达拉斯电工示例任务	查看预填的输入，设置较小的结果数量上限，然后运行并导出数据集。
跟踪公司申报文件	SEC 申报监控教程	选择公司和表单类型；保留申报标识符，以避免重复提醒。
随时间比较医疗服务提供者	CMS 服务提供者监控教程	保存快照，并比较源数据集中的变化，而非实时临床结果。
使用 AI 聊天界面	ChatGPT 和 Apify MCP 设置	连接你自己的 Apify 帐户，并明确选择 Actor。

无需单独订阅此 MCP 软件包。Actor 运行费用将按显示的 Store 价格通过你的 Apify 帐户结算。请先进行少量运行并检查输出，再安排定期任务；公开来源的数据可能存在延迟、不完整或暂时不可用的情况。

---

隐私政策

MCP 服务不会收集任何信息。它在你的计算机上运行，从环境中读取 APIFY_TOKEN，唯一的出站调用是使用你自己的 Apify 帐户，向 Apify API 运行你指定的 Actor。我们不会收集遥测数据、记录日志或接收任何数据。完整政策：apify.revenuesystemslabs.com/privacy。

Make.com 模板

8 个已发布的 Make 场景，只需单击即可复制到自己的 Make 账户。每个场景都会在设置向导中要求提供 Apify 令牌和目标位置（Google Sheets 或 Slack）。

模板	运行的 Actor
Google Maps 潜在客户信息导入 Google Sheets	google-maps-business-search
Glassdoor 职位信息导入 Google Sheets	glassdoor-jobs-scraper
加利福尼亚州承包商执照信息导入 Google Sheets	ca-contractor-license-search
SEC EDGAR 文件提交提醒发送至 Slack	sec-edgar-filings-search
将 Google News 搜索结果导出到 Google Sheets	google-news-search
将 Grants.gov 机会信息导出到 Google Sheets	grants-gov-opportunity-search
将 TED EU 招标信息导出到 Google Sheets	ted-eu-tender-search
将 NHTSA 车辆召回信息导出到 Google Sheets	nhtsa-vehicle-recall-search

使用场景指南

每个页面对应 Agent 会收到的一个问题，并列出完成该任务所需的工具、参数、返回字段和价格：

• 用于查询 SEC EDGAR 文件提交信息的 MCP 服务
• 用于查询 Google Maps 数据和商业潜在客户信息的 MCP 服务
• 用于查询公共记录的 MCP 服务：企业注册信息、执照和服务提供商
• 用于求职搜索的 MCP 服务：LinkedIn 和 Glassdoor 职位信息
• 用于查询美国政府数据的 MCP 服务

专注于端到端流程的教程：

• 通过 Apify MCP 在 ChatGPT 中直接使用公共数据 Actor
• 自动监控 SEC EDGAR 文件提交信息
• 使用 Google Maps 创建承包商潜在客户名单
• 监控 CMS 医疗服务提供商信息变更

---

可用提取器和 Store 列表

以下每个提取器既是 Apify Store 列表，也是同一服务中的 MCP 工具；各个章节对应买家会提出的问题。

商业情报与潜在客户开发

另有：跨境公司注册信息搜索，在有数据的情况下整合英国、法国和 GLEIF 的记录。

工具	Store 链接	关键输出字段	适用场景
Google Maps 商业潜在客户	captainhandsome/google-maps-business-search	名称、电话、网站、评分、评论、地址、坐标、营业时间	B2B 潜在客户开发、本地代理商客户挖掘
网站技术栈与电商扫描器	captainhandsome/tech-stack-detector	technologies、cms、ecommerce_platform、payments、emails	适用于竞争对手技术研究，以及对一批公司网站进行 B2B 潜在客户资格评估。
美国商业实体注册信息	captainhandsome/us-business-entity-search	法律实体名称、备案编号、司法管辖区、状态	法律尽职调查、公司注册核查
阿拉巴马州商业实体搜索	captainhandsome/al-business-entity-search	entity id、entity name、location、entity type、status	按公司名称搜索阿拉巴马州商业实体并导出实体 ID
佛罗里达州 Sunbiz 商业实体搜索	captainhandsome/fl-sos-new-filings	entity name、document number、status、entity type、date filed	搜索佛罗里达州 Sunbiz 的公司名称结果并导出法律实体名称
佛罗里达州 Sunbiz 高管与注册代理人搜索	captainhandsome/fl-sunbiz-officer-search	officer name、entity name、document number、detail url、entity type	按高管或注册代理人姓名搜索佛罗里达州 Sunbiz 并导出高管信息
法国公司搜索	captainhandsome/french-company-search	siren、name、legal name、acronym、status	按名称、业务活动、邮政编码搜索法国官方公司注册信息
GLEIF LEI 查询	captainhandsome/gleif-lei-search	lei、legal_name、registered_as、legal_form_name、status	适用于 KYC 和交易对手尽职调查：在合作方准入前，核实公司的法律实体识别编码、注册状态及其所属国家注册机构编号。
美国承包商执照	captainhandsome/us-contractor-license-search	承包商名称、执照编号、分类、状态、州	技工资质核验、分包商尽职调查
加利福尼亚州承包商执照搜索	captainhandsome/ca-contractor-license-search	contractor name、name type、license number、city、status	按承包商名称搜索加利福尼亚州 CSLB 承包商记录并导出

职位、市场与消费者情报

工具	商店链接	关键输出字段	最适用于
Glassdoor 职位与薪资	captainhandsome/glassdoor-jobs-scraper	职位名称、公司、薪资估算、评分、地点、职位 URL、发布日期	招聘情报、薪酬基准分析
LinkedIn 公开职位	captainhandsome/linkedin-public-jobs-search	职位名称、雇主、地点、直接申请 URL、发布时长	招聘、科技人才监测
Airbnb 度假租赁	captainhandsome/airbnb-listings-search	标题、房间类型、每晚价格、评分、评论数、房源 URL	房地产研究、市场价格追踪
Google Play 应用评论	captainhandsome/google-play-reviews-scraper	评论文本、星级评分、点赞数、日期、评论者姓名	应用商店舆情、竞争对手反馈
Apple App Store 评论	captainhandsome/app-store-reviews-search	app_name、review_rating、review_body、review_version、app_average_rating	iOS 评论挖掘、ASO 研究及跨平台舆情分析
YouTube 视频搜索	captainhandsome/youtube-search-scraper	标题、视频 URL、频道、观看次数、时长、发布日期	内容追踪、创作者联络
Twitch 直播	captainhandsome/twitch-live-streams-scraper	主播用户名、标题、观众人数、语言、类别	电子竞技分析、直播监测

政府与公共记录

另有：SEC Form 4 内部人交易、OFAC 制裁名单、CourtListener 案件和 NVD/CISA 漏洞情报。

工具	Store 链接	主要输出字段	最适用于
SEC EDGAR 企业申报文件	captainhandsome/sec-edgar-filings-search	股票代码、CIK、表格类型（10-K、10-Q、8-K）、申报日期、主要文件 URL	财务尽调、股票研究、合规
USAspending 联邦拨款	captainhandsome/usaspending-federal-awards	接收方供应商、拨款金额、拨款机构、说明、日期	政府合同、采购情报
Grants.gov 资助机会	captainhandsome/grants-gov-opportunity-search	机会编号、机构、截止日期、拨款范围、资格要求、联系人	联邦拨款挖掘与资助监测
TED 欧洲招标	captainhandsome/ted-eu-tender-search	采购方、国家、CPV 代码、截止日期、预估金额、源文件	欧洲采购与投标机会发现
NHTSA 车辆召回	captainhandsome/nhtsa-vehicle-recall-search	活动编号、部件、缺陷、后果、补救措施、受影响车辆数	车辆安全检查与召回监测
FEC 竞选财务搜索	captainhandsome/fec-campaign-finance-search	记录类型、ID、姓名、党派、职位	按州搜索美国联邦候选人、PAC 和竞选捐款
EPA ECHO 设施合规与违规记录	captainhandsome/epa-echo-facility-search	注册 ID、名称、街道、城市、州	按州、邮编、NAICS、名称和计划搜索受 EPA 监管的美国设施
US Census 地址地理编码器	captainhandsome/us-census-geocoder	matched_address、county_name、tract_geoid、block_geoid、congressional_district_geoid	最适用于为美国地址补充人口普查区、县 FIPS 和选区 GEOID，以便进行人口统计数据关联和合规报告。

研究与健康数据

工具	Store 链接	主要输出字段	最适用于
ClinicalTrials.gov 搜索	captainhandsome/clinical-trials-search	NCT ID、标题、官方标题、缩写、机构研究 ID	按疾病、干预措施搜索 ClinicalTrials.gov 官方 API，
Europe PMC 论文搜索	captainhandsome/europe-pmc-paper-search	标题、DOI、PMID、摘要、引用次数	最适用于生物医学文献综述、引文追踪，以及在 PubMed 和 Europe PMC 中发现开放获取内容。
openFDA 药品标签、召回与不良事件	captainhandsome/openfda-search	数据集、ID、品牌名、通用名、制造商	搜索 FDA 官方药品标签、批准信息、不良事件和药品，
CMS 医疗服务提供者搜索	captainhandsome/cms-healthcare-provider-search	姓名、provider_type、城市、州、星级评分	按地点、所有权和星级评分比较经 CMS 认证的医院、养老院和其他 Medicare 服务提供者。

---

Python 快速入门

1. 安装依赖项

pip install apify-client pandas python-dotenv

2. 将 50 条 Google Maps 潜在客户导出为 CSV

import os
from apify_client import ApifyClient
import pandas as pd

# Get your API token from https://console.apify.com/account/integrations
client = ApifyClient(os.getenv("APIFY_TOKEN"))

# Run the actor
run = client.actor("captainhandsome/google-maps-business-search").call(run_input={
    "search_query": "commercial electricians",
    "location": "Dallas, Texas",
    "max_items": 50,
    "include_details": True,
})

# Fetch dataset items and export to CSV
items = list(client.dataset(run["defaultDatasetId"]).iterate_items())
df = pd.DataFrame(items)
df.to_csv("dallas_electricians.csv", index=False)
print(f"Exported {len(df)} leads to dallas_electricians.csv")

完整脚本请参阅 examples/google_maps_leads_to_csv.py。

---

Node.js 快速入门

1. 安装依赖项

npm install apify-client

2. 查询 SEC EDGAR 文件

import { ApifyClient } from 'apify-client';

const client = new ApifyClient({ token: process.env.APIFY_TOKEN });

const run = await client.actor('captainhandsome/sec-edgar-filings-search').call({
  companies: ['AAPL', 'NVDA', 'MSFT'],
  forms: ['10-K'],
  max_items: 15,
});

const { items } = await client.dataset(run.defaultDatasetId).listItems();
items.forEach(filing => {
  console.log(`[${filing.ticker}] ${filing.form} (${filing.filing_date}): ${filing.filing_url}`);
});

完整脚本请参阅 examples/sec_filings.js。

---

无代码与自动化工作流

如果您通过 n8n、Make、Zapier 或 Google Sheets 进行自动化，workflows/ 中提供了可直接导入的蓝图：

• Google Maps 潜在客户导入 Google Sheets（n8n）： 每周定时提取本地潜在客户并导入 Google Sheets，同时持续过滤重复项。
• SEC EDGAR 10-K 和 8-K 提醒（n8n）： 每四小时监控一次文件提交，并持续过滤重复项。
• 竞争对手新闻提醒（n8n）： 每日监控 Google News，并持续过滤重复项。
• Grants.gov 机会提醒（n8n）： 每日监控资助机会，并持续过滤重复项。
• TED 欧洲招标提醒（n8n）： 每日监控采购信息，并持续过滤重复项。
• NHTSA 车辆召回提醒（n8n）： 每日监控安全召回信息，并持续过滤重复项。
• 八个经 Make 批准的模板： 为 Google Sheets 和 Slack 工作流提供引导式设置。连接您自己的账户，并在运行前检查输入；Apify 和 Make 可能会收取使用费用。

在 Make 中打开模板：Google Maps、Glassdoor、加州承包商、将 SEC 文件提交信息发送到 Slack、Google News、Grants.gov、TED 招标，或 NHTSA 召回信息。

---

预构建示例任务（零代码）

如果您更喜欢通过可运行的网页界面任务而无需编写代码，每个 actor 都包含已在 Apify Store 上发布的预配置任务：

Google Maps 潜在客户

• 凤凰城暖通空调公司潜在客户
• 达拉斯商业电工潜在客户
• 芝加哥牙医名录

Glassdoor 职位

• 奥斯汀软件开发人员职位
• 西雅图产品经理职位
• 纽约数据分析师职位

Airbnb 租房

• 纳什维尔 Airbnb 房源
• 迈阿密 Airbnb 房源
• 奥斯汀 Airbnb 房源

YouTube 和 Google Play

• 小型企业营销视频
• Python 教程视频调研
• Instagram 一星 Play 商店评价

---

免费示例数据集

正在寻找可用于基准测试、分析或训练模型的干净数据？已验证的示例数据包及其元数据架构可在 datasets/ 中找到，也已公开托管在 Hugging Face Datasets 上：

八个已验证的示例数据包，每个都导出自其旁边所列 Actor 的一次生产运行。所有数据包均由此代码仓库提供，并镜像到 Hugging Face；数据集卡片会链接回生成它的 Actor。

1. 凤凰城 HVAC 承包商线索： datasets/phoenix_hvac_leads/ | Hugging Face Hub — 10 个已验证的 HVAC 承包商档案，包含评分、地址和电话号码（Google Maps Business Leads）。
2. 加利福尼亚持证承包商： datasets/california_solar_contractors/ | Hugging Face Hub — 50 家仍在经营、持有 C-46 和 B 级执照的太阳能安装商，包含州级验证编号（California Contractor License Search）。
3. 奥斯汀软件工程师招聘信息： datasets/austin_software_jobs/ | Hugging Face Hub — 30 条经过规范化处理的招聘信息，包含预估发布日期和薪资范围（LinkedIn Public Jobs）。
4. 标普 500 企业申报文件： datasets/sp500_sec_edgar_filings/ | Hugging Face Hub — 5 条 SEC EDGAR 申报记录，包含 CIK、股票代码、SIC 和文档链接（SEC EDGAR Filings）。
5. 美国联邦国防与 AI 奖项： datasets/us_federal_defense_ai_awards/ | Hugging Face Hub — 10 项联邦合同授予记录，包含受领方、机构、义务金额和日期（USAspending Federal Awards）。
6. 美国远程 AI 与 ML 招聘信息： datasets/us_remote_ai_ml_job_postings/ | Hugging Face Hub — 10 条远程 AI/ML 招聘信息，包含职位名称、公司、地点和申请 URL（LinkedIn Public Jobs）。
7. Twitch 热门直播： datasets/twitch_top_live_streams_metadata/ | Hugging Face Hub — 10 条直播频道记录，包含观众人数、类别和语言（Twitch Live Streams）。
8. 移动应用情感评价： datasets/mobile_apps_user_sentiment_reviews/ | Hugging Face Hub — 10 条 Google Play 评价，包含评分、点赞数和评价者元数据（Google Play Reviews）。

---

AI Agent 与 MCP 集成

此代码仓库中的所有 Actor 均符合 OpenAPI 和 JSON Schema 标准，因此 AI Agent 可通过模型上下文协议（MCP）直接调用：

选项 1：Claude Desktop / Cursor 与 UVX（推荐）

将以下内容添加到 claude_desktop_config.json 或 Cursor MCP 设置中：

{
  "mcpServers": {
    "apify-data-scrapers": {
      "command": "uvx",
      "args": ["apify-data-scrapers"],
      "env": {
        "APIFY_TOKEN": "YOUR_APIFY_API_TOKEN"
      }
    }
  }
}

选项 2：Docker 容器（Glama / Cloud）

通过 Docker 运行：

{
  "mcpServers": {
    "apify-data-scrapers": {
      "command": "docker",
      "args": ["run", "-i", "--rm", "-e", "APIFY_TOKEN", "glcr.b-cdn.net/jlucasmcrell/apify-scrapers:latest"],
      "env": {
        "APIFY_TOKEN": "YOUR_APIFY_API_TOKEN"
      }
    }
  }
}

选项 3：本地 Python Stdio 运行器

通过 pip 安装或直接运行：

pip install apify-data-scrapers
export APIFY_TOKEN="your_token_here"
apify-data-scrapers

或者从本地源代码运行：

python mcp_server.py

开箱即用的 Agent 提示词：

• “在 Google Maps 上搜索亚特兰大 50 家商业屋顶承包商，包含电话号码和网站。”
• “从 SEC EDGAR 检索过去 2 年的 Apple 和 Microsoft Form 10-K 文件。”
• “在 Glassdoor 上搜索有薪资估算的远程产品经理职位。”

---

深入工程指南

技术案例研究和问题解决文档位于 articles/：

• 解决 Airbnb 上 Playwright 无头分页难题： 如何解决大型无头浏览器抓取过程中固定覆盖层弹窗造成的中断，以及视口边界裁切问题。
• 提取和规范化 Glassdoor 上干净的职位发布日期： 通过确定性解析和 ISO-8601 边界跟踪，克服相对时间戳漂移（“24h”、“3d”、“30d+”）问题。

---

仓库结构

apify-scrapers/
 README.md                                # Documentation and quickstart
 LICENSE                                  # MIT License
 requirements.txt                         # Python client dependencies
 package.json                             # Node.js dependencies
 mcp.json                                 # MCP tool registry specification
 mcp_server.py                            # Native Python stdio MCP server
 articles/                                # In-depth engineering case studies
    airbnb_playwright_pagination_guide.md
    glassdoor_posting_dates_guide.md
    reddit_community_responses.md        # Reference technical answers for forums
 datasets/                                # Sample benchmark datasets
    phoenix_hvac_leads/
    california_solar_contractors/
    austin_software_jobs/
 workflows/                               # No-code automation templates
    n8n_google_maps_to_sheets.json
    n8n_sec_edgar_to_slack.json
    n8n_google_news_competitor_monitor.json
    n8n_grants_gov_opportunity_monitor.json
    n8n_ted_eu_tender_monitor.json
    README.md
 examples/                                # Standalone developer scripts
     google_maps_leads_to_csv.py
     sec_edgar_filings_downloader.py
     glassdoor_jobs_tracker.py
     airbnb_market_scraper.py
     usaspending_defense_awards.py
     twitch_live_stream_monitor.py
     google_maps_leads.js
     sec_filings.js

---

作者与支持

由 Joseph McRell 维护。

• Apify Store： https://apify.com/captainhandsome
• GitHub： @jlucasmcrell
• Hugging Face： @joeygambino
• 问题与请求： 请在此仓库中提交 issue，或在相应的 Apify Actor Store 页面提交工单。

---

许可证

本项目采用 MIT License 授权，详情请参阅 LICENSE 文件。