mcpField
S
scraping-twitter-profile-tweets

scraping-twitter-profile-tweets

github.com/apidojo-io数据与数据库1785 次安装24 周前更新
代码仓库

关于 scraping-twitter-profile-tweets

用于调用 Apify Twitter profile scraper 的数据采集技能,可获取指定个人资料中的推文,供后续分析。

主要功能

  1. 01支持个人资料链接或用户名
  2. 02按日期范围筛选推文
  3. 03可选择包含回复或原生转推
  4. 04可获取个人资料信息并限制结果数

适用场景

  1. 01采集指定个人资料的推文
  2. 02查看账号在某个日期范围内的发文
  3. 03将限定数量的推文导出为 CSV 或 JSON

MCP 相关

如有 Apify MCP,可使用其 call_actor 工具调用 twitter-profile-scraper Actor。

安装

复制下面的命令,在终端中运行。

$npx skills add https://github.com/apidojo-io/apidojo-skills --skill scraping-twitter-profile-tweets

安装后在 Claude Code 中输入/scraping-twitter-profile-tweets确认已加载。

详细介绍

抓取 Twitter 个人资料推文

原始数据收集。不预设使用场景——返回完整数据集,供下游分析使用。


输入

参数类型必填默认值说明
startUrls数组可选[]Twitter 个人资料 URL(x.com 或 twitter.com 格式)
twitterHandles数组可选[]Twitter 用户名(不带 @)
start字符串可选—此日期之后的推文(YYYY-MM-DD 或 YYYY-MM-DD_HH:MM:SS_UTC)
end字符串可选—此日期之前的推文(YYYY-MM-DD 或 YYYY-MM-DD_HH:MM:SS_UTC)
includeNativeRetweets布尔值可选false在结果中包含原生转推
onlyImages布尔值可选false仅包含带图片的推文
getReplies布尔值可选false包含推文回复
minReplyCount数字可选—最低回复数阈值
getAboutData布尔值可选false获取完整的个人资料简介数据
maxItems数字可选无限制返回的最大推文数
customMapFunction字符串可选—用于转换每个输出对象的 JavaScript 函数

运行方法

使用 run_actor.js(推荐)
# Quick answer (table)
node scripts/run_actor.js --actor "apidojo~twitter-profile-scraper" --input '{"twitterHandles": ["elonmusk"], "maxItems": 100}'

# Save as CSV
node scripts/run_actor.js --actor "apidojo~twitter-profile-scraper" --input '{"twitterHandles": ["elonmusk"], "maxItems": 100}' --output results.csv --format csv

# Save as JSON
node scripts/run_actor.js --actor "apidojo~twitter-profile-scraper" --input '{"twitterHandles": ["elonmusk"], "maxItems": 100}' --output results.json --format json
REST API 备用方案
curl -X POST "https://api.apify.com/v2/acts/apidojo~twitter-profile-scraper/runs" \
  -H "Authorization: Bearer $APIFY_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{"twitterHandles": ["elonmusk"], "maxItems": 100}'

如果 Apify MCP 可用: 使用 Apify MCP 的 call_actor 工具,指定 actor apidojo~twitter-profile-scraper,并传入上述输入。


输出字段

字段类型描述
type字符串始终为 tweet
id字符串推文 ID
url字符串推文 URL(x.com)
twitterUrl字符串推文 URL(twitter.com)
text字符串推文文本内容
retweetCount数字转推数
replyCount数字回复数
likeCount数字点赞数
quoteCount数字引用推文数
bookmarkCount数字书签数
createdAt字符串创建时间戳
lang字符串检测到的语言
isReply布尔值是否为回复
isRetweet布尔值是否为转推
isQuote布尔值是否为引用推文
source字符串使用的 Twitter 客户端
author.userName字符串作者的 @用户名
author.name字符串作者的显示名称
author.isVerified布尔值旧版认证状态
author.isBlueVerified布尔值Twitter Blue 认证状态
author.profilePicture字符串作者头像 URL
author.followers数字作者的关注者数量

边缘情况

  • 私密账号:返回 0 条推文。告知用户该账号为私密账号。
  • 账号已停用:返回错误。该用户名可能已被封禁。
  • 非常活跃的账号:使用 maxItems 设置上限并控制成本(每条额外推文 $0.0004)。
  • 日期范围:查询至少需要 50 条结果才能运行。如果范围内推文较少,请扩大日期范围。
  • 结果中的转推:Actor 会返回所有公开推文,包括转推。

评论

支持 Markdown