mcpField
S
scrape-leads

scrape-leads

github.com/aiagentwithdhruv营销与增长2080 次安装15 周前更新
代码仓库

关于 scrape-leads

scrape-leads 是一项使用 Apify 收集并核验企业线索，再保存到 Google Sheets 的技能。支持单次和并行抓取，并可选择使用 LLM 分类及补充邮箱。

主要功能

  1. 01按行业和地点抓取线索
  2. 02通过测试批次核验行业相关性
  3. 03并行处理大型抓取任务
  4. 04使用 LLM 分类线索
  5. 05补充缺失的邮箱地址
  6. 06将结果导出到 Google Sheets

适用场景

  1. 01建立按地区定位的潜在客户名单
  2. 02跨区域收集大型线索名单
  3. 03分类复杂细分行业的线索
  4. 04整理并补全邮箱的线索表

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/aiagentwithdhruv/skills --skill scrape-leads

安装后在 Claude Code 中输入/scrape-leads确认已加载。

包含的文件

除 SKILL.md 外，安装时一起下载的参考资料和脚本。

scripts/
classify_leads_llm.py
enrich_emails.py
read_sheet.py
scrape_apify_parallel.py
scrape_apify.py
update_sheet.py

详细介绍

潜在客户抓取与验证

目标

使用 Apify（code_crafter/leads-finder）抓取潜在客户，验证其相关性（行业匹配度 > 80%），并将其保存到 Google 表格中。对于大型抓取（1000+ 条潜在客户），使用并行抓取可将性能提升 3-5 倍。

输入

  • 行业：目标行业（例如，“水管工”“软件代理机构”）
  • 位置：目标位置（例如，“Texas”“United States”“California”）。脚本会自动转换为 Apify 要求的格式（美国各州会自动添加“, us”后缀）。
  • 总数：所需潜在客户总数

脚本

所有脚本都位于 ./scripts/：

  • scrape_apify.py - 单次抓取，适用于少于 1000 条潜在客户的情况
  • scrape_apify_parallel.py - 并行抓取，适用于 1000+ 条潜在客户的情况
  • classify_leads_llm.py - 基于大模型的潜在客户分类
  • enrich_emails.py - 通过 AnyMailFinder 补充电子邮件
  • update_sheet.py - 批量更新表格
  • read_sheet.py - 从 Google 表格读取数据

流程

小规模抓取（少于 1000 条潜在客户）

  1. 测试抓取

    python3 ./scripts/scrape_apify.py --query "INDUSTRY" --location "LOCATION" --max_items 25 --no-email-filter --output .tmp/test_leads.json

  2. 验证

    • 读取 .tmp/test_leads.json
    • 检查至少 20/25（80%）条潜在客户是否符合该行业
    • 通过：继续执行第 3 步
    • 未通过：停止并请用户优化关键词

  3. 完整抓取

    python3 ./scripts/scrape_apify.py --query "INDUSTRY" --location "LOCATION" --max_items TOTAL_COUNT --no-email-filter --output .tmp/leads.json

  4. [可选] 大模型分类（适用于复杂细分领域）

    python3 ./scripts/classify_leads_llm.py .tmp/leads.json --classification_type product_saas --output .tmp/classified_leads.json

  5. 上传到 Google 表格

    python3 ./scripts/update_sheet.py .tmp/leads.json --title "Leads - INDUSTRY"

  6. 补充缺失的电子邮件

    python3 ./scripts/enrich_emails.py SHEET_URL
大规模抓取（1000+ 条潜在客户）

  1. 测试抓取（与上述相同，抓取 25 条）

  2. 并行完整抓取

    python3 ./scripts/scrape_apify_parallel.py \
  --query "INDUSTRY" \
  --total_count 4000 \
  --location "United States" \
  --strategy regions \
  --no-email-filter

    地理区域划分会自动进行：

    • United States：分为 4 个区域（东北部、东南部、中西部、西部）
    • EU/Europe：分为 4 个区域（西部、南部、北部、东部）
    • UK：分为 4 个区域（英格兰东南部、英格兰北部、苏格兰/威尔士、英格兰西南部）
    • Canada：分为 4 个区域（安大略省、魁北克省、西部、大西洋地区）
    • Australia：分为 4 个区域（NSW、VIC/TAS、QLD、WA/SA）

  3. 继续执行小规模抓取中的第 4-6 步

输出

唯一的交付物是 Google 表格 URL。 .tmp/ 中的本地 JSON 文件都是临时中间文件。

边缘情况

  • 未找到潜在客户：请用户扩大搜索范围
  • API 错误：检查 .env 中的凭据
  • 分类质量低：如果“unclear”超过 80%，请优化抓取关键词

环境

.env 中需要包含：

APIFY_API_TOKEN=your_token
GOOGLE_APPLICATION_CREDENTIALS=path/to/credentials.json
ANTHROPIC_API_KEY=your_key
ANYMAILFINDER_API_KEY=your_key

架构

输入
名称类型必需描述
industry字符串是目标行业（例如，'Plumbers'、'Software Agencies'）
location字符串是目标位置（例如，'Texas'、'United States'）
total_count整数是所需潜在客户总数
classification_type字符串否大模型分类类型（例如，'product_saas'）
输出
名称类型描述
sheet_url字符串包含抓取到的潜在客户的 Google 表格 URL
lead_count整数找到的潜在客户数量
凭据
名称来源
APIFY_API_TOKEN.env
GOOGLE_APPLICATION_CREDENTIALS.env
ANTHROPIC_API_KEY.env
ANYMAILFINDER_API_KEY.env
可组合搭配

与此项技能配合良好的技能：classify-leads、casualize-names、instantly-campaigns、onboarding-kickoff

成本

每条潜在客户 $0.01-0.02 + 每 1K 条分类 $0.30

评论

支持 Markdown