mcpField
S
scraping-twitter-list-members

scraping-twitter-list-members

github.com/apidojo-io数据与数据库1778 次安装24 周前更新
代码仓库

关于 scraping-twitter-list-members

从公开 Twitter/X 列表导出成员个人资料的技能，适用于行业精选列表、竞争对手监测和受众研究。它可将成员信息整理为结构化数据集。

主要功能

  1. 01收集公开列表中的个人资料
  2. 02支持列表 URL 或 ID
  3. 03限制返回结果数量
  4. 04将成员详情导出为数据集

适用场景

  1. 01从精选列表构建受众名单
  2. 02建立竞争对手观察名单
  3. 03分析行业列表中的成员

MCP 相关

可通过 Apify MCP 服务运行 apidojo~twitter-list-scraper Actor。

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/apidojo-io/apidojo-skills --skill scraping-twitter-list-members

安装后在 Claude Code 中输入/scraping-twitter-list-members确认已加载。

详细介绍

抓取 Twitter 列表成员

导出任意公开 Twitter/X 列表中的所有成员资料。适用于精选行业列表、竞争对手监控列表或预先构建的受众。

前提条件

  • 已设置 APIFY_TOKEN 环境变量
  • 可选：已安装 Apify MCP 服务

输入

参数类型必填默认值说明
startUrlsarray可选[]Twitter 列表 URL（例如 https://x.com/i/lists/12345）
listIdsarray可选[]Twitter 列表 ID
maxItemsnumber可选不限返回的推文数量上限
customMapFunctionstring可选—用于转换每个输出对象的 JavaScript 函数

工作流

Progress:
- [ ] Step 1: Validate list URL
- [ ] Step 2: Run twitter-list-scraper
- [ ] Step 3: Poll for SUCCEEDED
- [ ] Step 4: Deliver member dataset
步骤 2：运行 Actor

推荐 — run_actor.js（自动处理等待、输出和文件保存）：

# Quick answer (prints table to chat)
node scripts/run_actor.js \
  --actor "apidojo~twitter-list-scraper" \
  --input '{"param": "value"}'

# Save as CSV
node scripts/run_actor.js \
  --actor "apidojo~twitter-list-scraper" \
  --input '{"param": "value"}' \
  --output YYYY-MM-DD_results.csv --format csv

# Save as JSON
node scripts/run_actor.js \
  --actor "apidojo~twitter-list-scraper" \
  --input '{"param": "value"}' \
  --output YYYY-MM-DD_results.json --format json

必须在环境变量或 .env 文件中设置 APIFY_TOKEN。

如果 Apify MCP 可用：

Tool: apify:run-actor
Actor: "apidojo~twitter-list-scraper"
Input:
{
  "listUrl": "https://twitter.com/i/lists/<LIST_ID>",
  "maxItems": 500
}

REST API 备用方案：

curl -X POST \
  "https://api.apify.com/v2/acts/apidojo~twitter-list-scraper/runs?token=$APIFY_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{"listUrl": "https://twitter.com/i/lists/<LIST_ID>"}'

将 id 保存为 RUN_ID。轮询直至 status = SUCCEEDED：

curl "https://api.apify.com/v2/actor-runs/$RUN_ID?token=$APIFY_TOKEN" | grep '"status"'

获取结果：

curl "https://api.apify.com/v2/actor-runs/$RUN_ID/dataset/items?token=$APIFY_TOKEN&format=json"
步骤 3：处理边缘情况
  • 私密列表：Actor 返回 0 条结果 — 告知用户该列表无法公开访问。
  • 列表已删除或移动：运行 Actor 前，验证 URL 是否返回 200。
  • 超大型列表（> 5000 名成员）：可能超时 — 使用 maxItems: 2000 并进行分页。

输出格式

# Twitter List Members: <list name>
List URL: <url> | Members collected: N

| Username | Display Name | Followers | Bio (truncated) | Location | Verified |
|----------|-------------|-----------|-----------------|----------|----------|
| ...      | ...         | ...       | ...             | ...      | ...      |

故障排除

**0 条结果：**列表为私密列表，或 URL 格式错误。请确认列表为公开列表。 **结果不完整：**大型列表可能受到速率限制 — 请使用较小的 maxItems 重试。

评论

支持 Markdown