x-scraper

X.com 投稿スクレイパー

認証済み Cookie を使用して、X.com ユーザーの最近の投稿をエンゲージメントデータ一式とともに取得します。

クイックスタート

基本コマンド：

cd .opencode/skills/x-scraper/scripts
python3 scraper.py <username> [count]

例：

python3 scraper.py example_user 15

出力：/tmp/x_{username}_posts.json

---

前提条件

初回使用前に、環境要件を確認してください。

1. Python 3.11+：python3 --version で確認します
2. Playwright：python3 -c "import playwright" で確認します
3. Cookie ファイル：ls /tmp/x_cookies_pw.json で確認します

前提条件が不足している場合は、詳細なインストールおよび設定ガイドについて references/setup.md を参照してください。

---

よくあるワークフロー

初回セットアップ

環境設定の全手順については、references/setup.md を参照してください。

日常的なスクレイピング

python3 scraper.py <username> [count]

カスタム Cookie ファイル

python3 scraper.py <username> [count] --cookie-file /path/to/cookies.json

トラブルシューティング

スクレイパーが失敗する場合は、よくある問題と解決策について references/troubleshooting.md を参照してください。

---

出力形式

{
  "index": 1,
  "username": "example_user",
  "postId": "1234567890123456789",
  "publishTime": "2025-12-03T18:28:32.000Z",
  "postLink": "https://x.com/example_user/status/1234567890123456789",
  "textContent": "Post text content...",
  "views": "471K",
  "likes": "1.1K",
  "retweets": "153",
  "replies": "44"
}

主なフィールド：

• postLink - 投稿への直接 URL
• publishTime - ISO 8601 形式のタイムスタンプ
• views/likes/retweets/replies - 省略表記の指標（K、M）

---

このスキルを使用する場面

ユーザーが次のように依頼した場合に使用します：

• 「整理 @某人 最近的发言」
• 「看看某人在X上说了什么」
• 「@username の X.com 投稿をスクレイピングして」
• 「ユーザーの最新ツイートを取得して」
• 「X ユーザーの最近の投稿を分析して」

---

利用可能なスクリプト

scraper.py - メインスクレイパー

python3 scraper.py <username> [count] [--cookie-file <path>]

• 返信を含むユーザーのタイムラインをスクレイピングします
• デフォルト件数：投稿 10 件
• デフォルト Cookie：/tmp/x_cookies_pw.json

convert_cookies.py - Cookie コンバーター

python3 convert_cookies.py <input-file> [output-file]

• Cookie-Editor JSON を Playwright 形式に変換します
• 初回スクレイピング前に必要です

---

参考ドキュメント

• setup.md - 環境の完全なセットアップガイド（Python、Playwright、Cookie）
• troubleshooting.md - エラーの診断と解決策
• usage.md - 詳細な使用例と高度なオプション

---

制限事項

• X.com の認証 Cookie が必要です
• Cookie は期限切れになります（約 7 日）。再エクスポートが必要です
• レート制限が適用される場合があります
• 非公開または保護されたアカウントにはアクセスできません