scraping-twitter-list-members

Twitter リストメンバーのスクレイピング

公開されている任意の Twitter/X リストから、すべてのメンバーのプロフィールをエクスポートします。業界別に厳選されたリスト、競合他社のウォッチリスト、または事前に作成されたオーディエンスに便利です。

前提条件

• APIFY_TOKEN 環境変数が設定されていること
• 任意：Apify MCP サーバーがインストールされていること

入力

パラメーター	型	必須	デフォルト	備考
startUrls	array	任意	[]	Twitter リストの URL（例：https://x.com/i/lists/12345）
listIds	array	任意	[]	Twitter リスト ID
maxItems	number	任意	無制限	返すツイートの最大数
customMapFunction	string	任意	—	各出力オブジェクトを変換する JavaScript 関数

ワークフロー

Progress:
- [ ] Step 1: Validate list URL
- [ ] Step 2: Run twitter-list-scraper
- [ ] Step 3: Poll for SUCCEEDED
- [ ] Step 4: Deliver member dataset

ステップ 2：Actor を実行する

推奨 — run_actor.js（待機、出力、ファイル保存を自動的に処理します）：

# Quick answer (prints table to chat)
node scripts/run_actor.js \
  --actor "apidojo~twitter-list-scraper" \
  --input '{"param": "value"}'

# Save as CSV
node scripts/run_actor.js \
  --actor "apidojo~twitter-list-scraper" \
  --input '{"param": "value"}' \
  --output YYYY-MM-DD_results.csv --format csv

# Save as JSON
node scripts/run_actor.js \
  --actor "apidojo~twitter-list-scraper" \
  --input '{"param": "value"}' \
  --output YYYY-MM-DD_results.json --format json

APIFY_TOKEN は環境変数または .env ファイルに設定する必要があります。

Apify MCP が利用できる場合：

Tool: apify:run-actor
Actor: "apidojo~twitter-list-scraper"
Input:
{
  "listUrl": "https://twitter.com/i/lists/<LIST_ID>",
  "maxItems": 500
}

REST API を使う場合：

curl -X POST \
  "https://api.apify.com/v2/acts/apidojo~twitter-list-scraper/runs?token=$APIFY_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{"listUrl": "https://twitter.com/i/lists/<LIST_ID>"}'

id を RUN_ID として保存します。status = SUCCEEDED になるまでポーリングします：

curl "https://api.apify.com/v2/actor-runs/$RUN_ID?token=$APIFY_TOKEN" | grep '"status"'

結果を取得します：

curl "https://api.apify.com/v2/actor-runs/$RUN_ID/dataset/items?token=$APIFY_TOKEN&format=json"

ステップ 3：エッジケースに対応する

• 非公開リスト：Actor は結果を 0 件返します。リストに公開アクセスできないことをユーザーに伝えてください。
• リストが削除または移動されている：Actor の実行前に、URL が 200 を返すことを確認してください。
• 非常に大きなリスト（メンバー数が 5000 人を超える場合）：タイムアウトする可能性があります。maxItems: 2000 を使用してページネーションしてください。

出力形式

# Twitter List Members: <list name>
List URL: <url> | Members collected: N

| Username | Display Name | Followers | Bio (truncated) | Location | Verified |
|----------|-------------|-----------|-----------------|----------|----------|
| ...      | ...         | ...       | ...             | ...      | ...      |

トラブルシューティング

結果が 0 件： リストが非公開か、URL の形式が正しくありません。リストが公開されていることを確認してください。 結果が一部のみ： 大きなリストではレート制限がかかる場合があります。maxItems を小さくして再試行してください。