mcpField
S
scrapecreators-api

scrapecreators-api

github.com/scrapecreators数据与数据库5.0k1.4k 次安装9 周前更新
代码仓库

关于 scrapecreators-api

ScrapeCreators API 提供接口,用于提取社交平台及相关服务的公开数据,适合构建数据采集工作流的开发者。每个接口均有对应的 OpenAPI 规格,便于查阅请求参数。

主要功能

  1. 01覆盖 27+ 个平台的公开数据提取
  2. 02提供 110 个 API 接口
  3. 03支持个人资料、帖子、评论和转录文本
  4. 04提供搜索、趋势和广告资料库数据
  5. 05按接口提供 OpenAPI 规格

适用场景

  1. 01采集社交资料和帖子数据
  2. 02搜索帖子及平台趋势
  3. 03获取视频转录文本和评论
  4. 04研究支持平台上的广告

安装

复制下面的命令,在终端中运行。

$npx skills add https://github.com/scrapecreators/social-media-research-skills --skill scrapecreators-api

安装后在 Claude Code 中输入/scrapecreators-api确认已加载。

详细介绍

ScrapeCreators API

从 27+ 个社交媒体平台抓取并提取公开数据。提供 110 个端点。

基础 URL: https://api.scrapecreators.com

在 https://scrapecreators.com 获取 API 密钥

如何调用

所有端点均使用 GET 请求。在 URL 中传递查询参数,并通过 x-api-key 请求头进行身份验证。响应为 JSON。

curl -s "https://api.scrapecreators.com/v1/tiktok/profile?handle=charlidamelio" \
  -H "x-api-key: $SCRAPECREATORS_API_KEY"

也可以使用 fetch:

const res = await fetch(
  "https://api.scrapecreators.com/v1/tiktok/profile?handle=charlidamelio",
  { headers: { "x-api-key": process.env.SCRAPECREATORS_API_KEY } }
);
const data = await res.json();

端点路径采用 /v1/platform/action 模式。下表列出了各个端点路径及其必需参数。

API 规范

每个端点都有自己的 OpenAPI 规范,地址为 https://docs.scrapecreators.com/{path}/openapi.json。

例如:https://docs.scrapecreators.com/v1/tiktok/profile/openapi.json

重要: 从下方的路由表中确定要调用的端点后,请先获取对应的单端点 OpenAPI 规范,以了解完整的参数详情、类型和示例响应,然后再实际调用 API。

涵盖所有端点的完整规范位于 https://docs.scrapecreators.com/openapi.json(文件较大,建议优先使用上述单端点规范)。

意图路由

将用户意图映射到合适的端点。选择端点后,请先从 https://docs.scrapecreators.com/{path}/openapi.json 获取其 OpenAPI 规范,了解完整参数详情,然后再调用。

个人资料 / 用户信息
平台端点主要参数示例
TikTok/v1/tiktok/profilehandlestoolpresidente
Instagram/v1/instagram/profilehandlejane
YouTube/v1/youtube/channelhandle、channelId 或 urlThePatMcAfeeShow
LinkedIn(个人)/v1/linkedin/profileurlhttps://www.linkedin.com/in/parrsam/
LinkedIn(公司)/v1/linkedin/companyurlhttps://linkedin.com/company/shopify
Facebook/v1/facebook/profileurlhttps://www.facebook.com/mantraindianfolsom
Twitter/X/v1/twitter/profilehandleelonmusk
Reddit/v1/reddit/subreddit/detailssubreddit 或 urlAskReddit
Threads/v1/threads/profilehandlezuck
Bluesky/v1/bluesky/profilehandlejay.bsky.team
Pinterest/v1/pinterest/user/boardshandlepinterest
Truth Social/v1/truthsocial/profilehandlerealDonaldTrump
Twitch/v1/twitch/profilehandleninja
Snapchat/v1/snapchat/profilehandledjkhaled
Posts / Content Feeds
PlatformEndpointPrimary ParamExample
TikTok videos/v3/tiktok/profile/videoshandlestoolpresidente
Instagram posts/v2/instagram/user/postshandlejane
Instagram reels/v1/instagram/user/reelshandle or user_idjane or 2700692569
Instagram highlights/v1/instagram/user/highlightshandle or user_idjane or 2700692569
YouTube videos/v1/youtube/channel/videoshandle or channelIdThePatMcAfeeShow
YouTube shorts/v1/youtube/channel/shortshandle or channelIdstarterstory
YouTube playlist/v1/youtube/playlistplaylist_idPLP32wGpgzmIlInfgKVFfCwVsxgGqZNIiS
LinkedIn posts/v1/linkedin/company/postsurlhttps://linkedin.com/company/shopify
Facebook posts/v1/facebook/profile/postsurl or pageIdhttps://www.facebook.com/pacemorby
Facebook reels/v1/facebook/profile/reelsurlhttps://www.facebook.com/Spurs
Facebook photos/v1/facebook/profile/photosurlhttps://www.facebook.com/Spurs
Facebook group posts/v1/facebook/group/postsurl or group_id742354120555345
Twitter tweets/v1/twitter/user/tweetshandleelonmusk
Reddit posts/v1/reddit/subredditsubredditAskReddit
Threads posts/v1/threads/user/postshandlezuck
Bluesky posts/v1/bluesky/user/postshandle or user_idjay.bsky.team
Truth Social posts/v1/truthsocial/user/postshandle or user_idrealDonaldTrump
Pinterest board/v1/pinterest/boardurlhttps://www.pinterest.com/...
Single Post / Video Details
PlatformEndpointPrimary ParamExample
TikTok/v2/tiktok/videourlhttps://www.tiktok.com/@randomspamvideos25/video/7251387037834595630
Instagram/v1/instagram/posturlhttps://www.instagram.com/reel/DOq6eV6iIgD
Instagram highlight/v1/instagram/user/highlight/detailid18067016518767507
YouTube/v1/youtube/videourlhttps://www.youtube.com/watch?v=Y2Ah_DFr8cw
YouTube community post/v1/youtube/community-posturlhttps://www.youtube.com/post/Ugkxvj2KoApYAXoqLWnKVr6zZe5JjeHrQeP8
LinkedIn/v1/linkedin/posturlhttps://www.linkedin.com/pulse/being-father-has-made-me-better-leader...
Facebook/v1/facebook/posturlhttps://www.facebook.com/reel/1535656380759655
Twitter/X/v1/twitter/tweeturlhttps://twitter.com/elonmusk/status/...
Twitter/X community/v1/twitter/communityurlhttps://twitter.com/i/communities/...
Twitter/X community tweets/v1/twitter/community/tweetsurlhttps://twitter.com/i/communities/...
Reddit/v1/reddit/post/commentsurlhttps://www.reddit.com/r/AskReddit/comments/...
Threads/v1/threads/posturlhttps://www.threads.net/@zuck/post/...
Bluesky/v1/bluesky/posturlhttps://bsky.app/profile/.../post/...
Truth Social/v1/truthsocial/posturlhttps://truthsocial.com/@realDonaldTrump/posts/...
Pinterest/v1/pinterest/pinurlhttps://www.pinterest.com/pin/...
Twitch clip/v1/twitch/clipurlhttps://clips.twitch.tv/...
Kick clip/v1/kick/clipurlhttps://kick.com/...
评论
平台端点主要参数示例
TikTok/v1/tiktok/video/commentsurlhttps://www.tiktok.com/@stoolpresidente/video/7499229683859426602
Instagram/v2/instagram/post/commentsurlhttps://www.instagram.com/reel/DOq6eV6iIgD
YouTube/v1/youtube/video/commentsurlhttps://www.youtube.com/watch?v=dQw4w9WgXcQ
Facebook/v1/facebook/post/commentsurl or feedback_idhttps://www.facebook.com/reel/753347914167361
Reddit/v1/reddit/post/commentsurlhttps://www.reddit.com/r/AskReddit/comments/...
转录文本
平台端点示例备注
TikTok/v1/tiktok/video/transcripturl=https://www.tiktok.com/...&lang=en也可通过 /v2/tiktok/video 并设置 get_transcript=true 获取
Instagram/v2/instagram/media/transcripturl=https://www.instagram.com/reel/...AI 驱动,耗时 10-30s,仅支持 2min 以内的视频
YouTube/v1/youtube/video/transcripturl=https://www.youtube.com/watch?v=bjVIDXPP7Uk也包含在 /v1/youtube/video 响应中
Facebook/v1/facebook/post/transcripturl=https://www.facebook.com/reel/...仅支持 2min 以内的视频
Twitter/X/v1/twitter/tweet/transcripturl=https://twitter.com/...AI 驱动,速度较慢
搜索
平台端点主要参数示例
TikTok 用户/v1/tiktok/search/usersqueryfunny
TikTok 视频(关键词)/v1/tiktok/search/keywordqueryfunny
TikTok 视频(话题标签)/v1/tiktok/search/hashtaghashtagfyp
TikTok 热门内容(照片+视频)/v1/tiktok/search/topqueryfunny
Instagram Reels/v2/instagram/reels/searchquerydogs
YouTube/v1/youtube/searchqueryfunny
YouTube 话题标签/v1/youtube/search/hashtaghashtagfunny
Reddit(全部)/v1/reddit/searchquerybest programming languages
Reddit(版块内)/v1/reddit/subreddit/searchsubreddit + queryAskReddit + funny
Threads 帖子/v1/threads/searchqueryAI
Threads 用户/v1/threads/search/usersqueryzuck
Pinterest/v1/pinterest/searchqueryhome decor
Google/v1/google/searchquerybest restaurants in NYC
广告资料库
平台端点主要参数示例
Facebook 广告搜索/v1/facebook/adLibrary/search/adsqueryrunning
Facebook 公司广告/v1/facebook/adLibrary/company/adspageId or companyNameLululemon
Facebook 广告详情/v1/facebook/adLibrary/adid or url702369045530963
Facebook 查找公司/v1/facebook/adLibrary/search/companiesqueryNike
Google 公司广告/v1/google/company/adsdomain or advertiser_idnike.com
Google 广告详情/v1/google/adurlhttps://adstransparency.google.com/...
Google 查找广告主/v1/google/adLibrary/advertisers/searchqueryNike
LinkedIn 广告搜索/v1/linkedin/ads/searchcompany or keywordShopify
LinkedIn 广告详情/v1/linkedin/adurlhttps://www.linkedin.com/ad/...
Reddit 广告搜索/v1/reddit/ads/searchquerygaming
Reddit 广告详情/v1/reddit/adidt3_abc123
热门 / 流行
内容端点参数示例
热门动态/v1/tiktok/get-trending-feedregion(必填)US
热门视频/v1/tiktok/videos/popular
热门创作者/v1/tiktok/creators/popular
热门话题标签/v1/tiktok/hashtags/popular
热门歌曲/v1/tiktok/songs/popular
歌曲详情/v1/tiktok/songclipId7439295283975702544
使用该歌曲的视频/v1/tiktok/song/videosclipId7439295283975702544
热门短视频(YT)/v1/youtube/shorts/trending
关注 / 粉丝 / 直播(仅 TikTok)
类型端点示例
正在关注/v1/tiktok/user/followinghandle=stoolpresidente
粉丝/v1/tiktok/user/followershandle=stoolpresidente
受众人口统计信息/v1/tiktok/user/audience(26 credits!)handle=shakira
直播/v1/tiktok/user/livehandle=thejustalex
TikTok Shop
类型端点主要参数示例
搜索商品/v1/tiktok/shop/searchqueryshoes
店铺商品/v1/tiktok/shop/productsurlhttps://www.tiktok.com/shop/store/goli-nutrition/7495794203056835079
商品详情/v1/tiktok/producturlhttps://www.tiktok.com/shop/pdp/goli-ashwagandha-gummies.../1729587769570529799
商品评价/v1/tiktok/shop/product/reviewsurl 或 product_id1731578642912612516
用户橱窗/v1/tiktok/user/showcasehandlemrtiktokreviews
个人简介链接 / 其他
服务端点参数示例
Linktree/v1/linktreeurlhttps://linktr.ee/...
Komi/v1/komiurlhttps://komi.io/...
Pillar/v1/pillarurlhttps://pillar.io/...
Linkbio/v1/linkbiourlhttps://linkbio.co/...
Linkme/v1/linkmeurlhttps://linkme.bio/...
Amazon Shop/v1/amazon/shopurlhttps://www.amazon.com/shop/...
Instagram 基本资料/v1/instagram/basic/profileuserId314216
Instagram 嵌入式 HTML/v1/instagram/user/embedhandlejane
年龄 / 性别识别/v1/detect/age-genderurl(社交资料)https://www.tiktok.com/@charlidamelio
积分余额/v1/credit/balance(无)

积分成本

大多数端点每次请求消耗 1 个积分。例外情况:

端点成本条件
/v1/tiktok/user/audience26 个积分始终
/v1/tiktok/video/transcript+10 个积分当 use_ai_as_fallback=true 时
/v1/google/company/ads25 个积分当 get_ad_details=true 时

使用 /v1/credit/balance 检查余额。调用高成本端点前,请提醒用户。

分页

分页端点会在响应中返回游标 / 令牌。将其作为查询参数传回,即可获取下一页。

游标字段使用位置
cursorTikTok 评论 / 搜索 / 歌曲视频、Instagram 评论、Reddit 子版块搜索、Pinterest、Bluesky、Facebook 短视频 / 照片 / 帖子 / 评论、TikTok Shop 商品 / 用户橱窗
max_cursorTikTok 个人资料视频
min_timeTikTok 正在关注 / 粉丝
continuationTokenYouTube(所有分页端点)
afterReddit 帖子、Reddit 搜索
next_max_idInstagram 帖子、Truth Social 帖子
max_idInstagram 短视频
pageTikTok 热门 / 商店、Instagram 短视频搜索、LinkedIn 公司帖子、TikTok Shop 评价
paginationTokenLinkedIn 广告

常见可选参数

  • trim(布尔值):缩减响应数据量。仅需要关键指标时使用。
  • region(字符串):用于代理位置的 2 位国家代码。不会按地区筛选内容,只会通过该国家的代理路由请求。

已知限制

  • 用户名:传入时不要带 @ 符号。使用 charlidamelio,而不是 @charlidamelio。适用于 TikTok、Instagram、Twitter、Threads、Bluesky、Snapchat、Twitch、Pinterest、Truth Social
  • YouTube 用户名:传入时不要带 @ 符号。使用 ThePatMcAfeeShow,而不是 @ThePatMcAfeeShow。也可以传入 channelId(例如 UC-9-kyTW8ZkZNDHQJ6FgpwQ)或完整 URL
  • 话题标签:传入时不要带 # 符号。使用 fyp,而不是 #fyp。适用于 TikTok 和 YouTube 话题标签搜索端点
  • Twitter:返回约 100 条最热门推文,而非按时间顺序排列的最新推文
  • Threads:公开可见的只有最近 20-30 条帖子
  • Facebook 帖子:每页只有 3 条帖子(API 限制)
  • Facebook 群组帖子:每页只有 3 条帖子(同样受 API 限制)
  • LinkedIn 公司帖子:最多 7 页
  • Instagram 播放量:仅统计 IG 播放量(不包括同步发布到 FB 的播放量)
  • Truth Social:只有知名用户(Trump、Vance 等)的内容可以公开访问
  • Instagram 歌曲短视频:已弃用(端点仍存在,但无法使用)
  • 转录文本:所有转录端点都要求视频时长少于 2 分钟
  • Reddit 子版块名称:区分大小写!使用 “AskReddit”,而不是 “askreddit”

评论

支持 Markdown