x-scraper

X.com 帖子抓取工具

使用经过身份验证的 Cookie，从 X.com 用户处提取近期帖子及完整的互动数据。

快速开始

基本命令：

cd .opencode/skills/x-scraper/scripts
python3 scraper.py <username> [count]

示例：

python3 scraper.py example_user 15

输出：/tmp/x_{username}_posts.json

---

前置条件

首次使用前，请确认环境满足以下要求：

1. Python 3.11+：使用 python3 --version 检查
2. Playwright：使用 python3 -c "import playwright" 检查
3. Cookie 文件：使用 ls /tmp/x_cookies_pw.json 检查

如果缺少任何前置条件，请参阅 references/setup.md，了解详细的安装和配置指南。

---

常见工作流

首次设置

请参阅 references/setup.md，了解完整的环境配置。

日常抓取

python3 scraper.py <username> [count]

自定义 Cookie 文件

python3 scraper.py <username> [count] --cookie-file /path/to/cookies.json

故障排查

如果抓取工具运行失败，请参阅 references/troubleshooting.md，查看常见问题及解决方案。

---

输出格式

{
  "index": 1,
  "username": "example_user",
  "postId": "1234567890123456789",
  "publishTime": "2025-12-03T18:28:32.000Z",
  "postLink": "https://x.com/example_user/status/1234567890123456789",
  "textContent": "Post text content...",
  "views": "471K",
  "likes": "1.1K",
  "retweets": "153",
  "replies": "44"
}

关键字段：

• postLink - 帖子的直接链接
• publishTime - ISO 8601 时间戳
• views/likes/retweets/replies - 缩写后的指标（K、M）

---

何时使用此技能

在用户提出以下请求时触发：

• “整理 @某人 最近的发言”
• “看看某人在X上说了什么”
• “抓取 @username 在 X.com 上的帖子”
• “获取用户的最新推文”
• “分析 X 用户的近期帖子”

---

可用脚本

scraper.py - 主抓取工具

python3 scraper.py <username> [count] [--cookie-file <path>]

• 抓取用户时间线及回复
• 默认数量：10 条帖子
• 默认 Cookie：/tmp/x_cookies_pw.json

convert_cookies.py - Cookie 转换工具

python3 convert_cookies.py <input-file> [output-file]

• 将 Cookie-Editor JSON 转换为 Playwright 格式
• 首次抓取前必须使用

---

参考文档

• setup.md - 完整的环境设置指南（Python、Playwright、Cookie）
• troubleshooting.md - 错误诊断与解决方案
• usage.md - 详细的使用示例和高级选项

---

限制

• 需要 X.com 身份验证 Cookie
• Cookie 会过期（约 7 天），需要重新导出
• 可能受到速率限制
• 无法访问私人或受保护的账号