scraping-twitter-profiles

抓取 Twitter 个人资料

批量导出任意一组 Twitter/X 用户名的个人资料数据。返回账号级元数据：粉丝数、简介、加入日期和认证状态。

前提条件

• 已设置 APIFY_TOKEN 环境变量
• 可选：已安装 Apify MCP 服务

输入

参数	类型	必填	默认值	说明
startUrls	数组	可选	[]	Twitter 个人资料或推文 URL
twitterHandles	数组	可选	[]	Twitter 用户名（不带 @）
twitterUserIds	数组	可选	[]	Twitter 用户 ID
getFollowers	布尔值	可选	false	提取粉丝列表
getFollowing	布尔值	可选	false	提取关注列表
getRetweeters	布尔值	可选	false	提取推文 URL 的转推者
includeUnavailableUsers	布尔值	可选	false	包含无法访问或已暂停的用户
maxItems	数字	可选	不限	返回的用户数上限
customMapFunction	字符串	可选	—	用于转换每个输出对象的 JavaScript 函数

工作流

Progress:
- [ ] Step 1: Normalize username list
- [ ] Step 2: Run twitter-user-scraper
- [ ] Step 3: Poll for SUCCEEDED
- [ ] Step 4: Deliver profile dataset

步骤 1：规范化

移除 @ 符号，去重，并验证字符串不为空。

步骤 2：运行 Actor

推荐 — 使用 run_actor.js（自动处理等待、输出和文件保存）：

# Quick answer (prints table to chat)
node scripts/run_actor.js \
  --actor "apidojo~twitter-user-scraper" \
  --input '{"param": "value"}'

# Save as CSV
node scripts/run_actor.js \
  --actor "apidojo~twitter-user-scraper" \
  --input '{"param": "value"}' \
  --output YYYY-MM-DD_results.csv --format csv

# Save as JSON
node scripts/run_actor.js \
  --actor "apidojo~twitter-user-scraper" \
  --input '{"param": "value"}' \
  --output YYYY-MM-DD_results.json --format json

必须在环境或 .env 文件中设置 APIFY_TOKEN。

如果 Apify MCP 可用：

Tool: apify:run-actor
Actor: "apidojo~twitter-user-scraper"
Input:
{
  "usernames": ["handle1", "handle2", "handle3"]
}

REST API 备用方案：

curl -X POST \
  "https://api.apify.com/v2/acts/apidojo~twitter-user-scraper/runs?token=$APIFY_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{"usernames": ["handle1", "handle2"]}'

将 id 保存为 RUN_ID。轮询，直到 status = SUCCEEDED：

curl "https://api.apify.com/v2/actor-runs/$RUN_ID?token=$APIFY_TOKEN" | grep '"status"'

获取结果：

curl "https://api.apify.com/v2/actor-runs/$RUN_ID/dataset/items?token=$APIFY_TOKEN&format=json"

步骤 3：处理边缘情况

• 结果中缺少账号：账号可能已暂停、删除或更改了用户名。请在输出中注明缺失的用户名。
• 私密账号：会返回个人资料元数据，但不包含推文内容——请标记 isPrivate: true 的行。
• 已停用的账号：会返回 null 或空对象——请从最终数据集中排除。

输出格式

# Twitter Profile Dataset
Accounts requested: N | Accounts returned: N | Missing: N

| Username | Display Name | Followers | Following | Tweets | Verified | Bio (truncated) | Joined |
|----------|-------------|-----------|-----------|--------|----------|-----------------|--------|
| ...      | ...         | ...       | ...       | ...    | ...      | ...             | ...    |

Available fields: username, displayName, followersCount, followingCount, tweetCount,
isVerified, isBlueVerified, description, location, url, profileImageUrl, createdAt, isPrivate

故障排除

**结果中缺少部分用户名：**账号可能已暂停或更名——请手动交叉核对。 **列表较大（> 1000）：**拆分为每批 500 个，并按顺序运行。