social-scraping

Name: social-scraping
Author: merit-systems

github.com/merit-systems数据与数据库23273 次安装10 周前更新

代码仓库

关于 social-scraping

这项技能通过 StableSocial API 收集多个平台的社交资料、帖子、评论等数据，并运行 Lightreel UGC 研究任务。它指导 Agent 选择端点并按异步触发与轮询流程获取结果。

主要功能

01跨平台采集社交数据
02资料、帖子、评论与搜索
03Scrape Creators 端点套件
04Lightreel UGC 研究任务
05触发与轮询任务流程
06使用游标进行分页

适用场景

01采集社交资料与帖子
02搜索平台内容和广告
03研究 UGC 趋势与创作者
04开展内容和营销活动研究

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/merit-systems/agentcash-skills --skill social-scraping

安装后在 Claude Code 中输入/social-scraping确认已加载。

附带文件rules/getting-started.md

详细介绍

使用 StableSocial 抓取社交媒体数据

抓取 20 多个平台上的个人资料、帖子、评论、关注者并进行搜索：TikTok、Instagram、YouTube、LinkedIn、X/Twitter、Facebook、Reddit、GitHub、Rumble、Threads、Bluesky、Pinterest、Twitch、Spotify 等，还包括广告资料库和 UGC 研究 Agent（Lightreel）。所有端点每次调用收费 $0.06。

三个端点系列：

旧版平台端点（/api/tiktok/*、/api/instagram/*、/api/facebook/*、/api/reddit/*）——个人资料、帖子、评论、关注者、搜索
Scrape Creators 套件（/api/sc/*）——覆盖更广的平台和数据，包括文字稿、广告资料库和小众平台
Lightreel UGC 研究 Agent（/api/lightreel/*）——可持久化任务的研究工作（热门开场、趋势、创作者搜索、脚本、简报）

设置

安装和钱包设置请参阅 rules/getting-started.md。

注意事项

使用 npx agentcash@latest fetch 触发付费 POST 请求。使用 npx agentcash@latest fetch 进行免费的 GET 轮询。

重要：请使用下方快速参考表中的确切端点路径。所有路径都包含平台前缀（例如 https://stablesocial.dev/api/tiktok/...）。

工作原理：异步两步流程

每个请求都遵循触发后轮询模式：

第 1 步：触发（付费，$0.06）

npx agentcash@latest fetch https://stablesocial.dev/api/instagram/profile -m POST -b '{"handle": "natgeo"}'

返回 202 Accepted，其中包含可持久化的任务 ID、轮询 URL 和旧版 JWT 令牌：

{"jobId": "abc123", "status": "pending", "pollUrl": "https://stablesocial.dev/api/jobs/abc123", "token": "eyJhbGciOiJIUzI1NiIs..."}

第 2 步：轮询（免费）

按 ID 轮询可持久化任务（需要付费钱包提供 SIWX 钱包身份验证——agentcash CLI 会自动处理）：

npx agentcash@latest fetch https://stablesocial.dev/api/jobs/abc123

或者使用旧版令牌轮询（无需钱包身份验证）：

npx agentcash@latest fetch "https://stablesocial.dev/api/jobs?token=eyJhbGciOiJIUzI1NiIs..."

{"status": "pending"} — 3–5 秒后再次轮询
{"status": "finished", "data": {...}} — 数据已就绪
{"status": "failed", "error": "..."} — 收集失败（不收费）

令牌会在 30 分钟后过期；可通过 jobId 持续轮询可持久化任务。任务通常会在 5–60 秒内完成（Lightreel 任务可能需要更长时间）。GET /api/jobs（无需令牌）可列出你的可持久化任务。

快速参考 — TikTok

任务	端点	依赖项
获取个人资料	`https://stablesocial.dev/api/tiktok/profile`	—
获取帖子	`https://stablesocial.dev/api/tiktok/posts`	个人资料
帖子评论	`https://stablesocial.dev/api/tiktok/post-comments`	帖子
评论回复	`https://stablesocial.dev/api/tiktok/comment-replies`	帖子评论
关注者	`https://stablesocial.dev/api/tiktok/followers`	个人资料
正在关注	`https://stablesocial.dev/api/tiktok/following`	个人资料
搜索帖子	`https://stablesocial.dev/api/tiktok/search`	—
搜索话题标签	`https://stablesocial.dev/api/tiktok/search-hashtag`	—
搜索个人资料	`https://stablesocial.dev/api/tiktok/search-profiles`	—
按音乐搜索	`https://stablesocial.dev/api/tiktok/search-music`	—

**输入：**个人资料/帖子/关注者使用 {"handle": "username"}。搜索使用 {"query": "keyword"}。

快速参考 — Instagram

任务	端点	依赖项
获取个人资料	`https://stablesocial.dev/api/instagram/profile`	—
获取帖子	`https://stablesocial.dev/api/instagram/posts`	个人资料
帖子评论	`https://stablesocial.dev/api/instagram/post-comments`	帖子
评论回复	`https://stablesocial.dev/api/instagram/comment-replies`	帖子评论
关注者	`https://stablesocial.dev/api/instagram/followers`	个人资料
正在关注	`https://stablesocial.dev/api/instagram/following`	个人资料
快拍	`https://stablesocial.dev/api/instagram/stories`	个人资料
精选	`https://stablesocial.dev/api/instagram/highlights`	个人资料
搜索帖子	`https://stablesocial.dev/api/instagram/search`	—
搜索标签	`https://stablesocial.dev/api/instagram/search-tags`	—

**输入：**个人资料/帖子/关注者使用 {"handle": "username"}。搜索使用 {"query": "keyword"}。

快速参考 — Facebook

任务	端点	依赖项
获取个人资料	`https://stablesocial.dev/api/facebook/profile`	—
获取帖子	`https://stablesocial.dev/api/facebook/posts`	个人资料
帖子评论	`https://stablesocial.dev/api/facebook/post-comments`	帖子
评论回复	`https://stablesocial.dev/api/facebook/comment-replies`	帖子评论
粉丝	`https://stablesocial.dev/api/facebook/followers`	个人资料
关注对象	`https://stablesocial.dev/api/facebook/following`	个人资料
搜索帖子	`https://stablesocial.dev/api/facebook/search`	—
搜索用户	`https://stablesocial.dev/api/facebook/search-people`	—
搜索主页	`https://stablesocial.dev/api/facebook/search-pages`	—
搜索群组	`https://stablesocial.dev/api/facebook/search-groups`	—

**输入：**个人资料使用 {"handle": "username"} 或 {"profile_id": "id"}。搜索使用 {"query": "keyword"}。

快速参考 — Reddit

任务	端点	依赖项
获取帖子	`https://stablesocial.dev/api/reddit/post`	—
帖子评论	`https://stablesocial.dev/api/reddit/post-comments`	帖子
获取评论	`https://stablesocial.dev/api/reddit/comment`	—
搜索帖子	`https://stablesocial.dev/api/reddit/search`	—
搜索个人资料	`https://stablesocial.dev/api/reddit/search-profiles`	—
子版块帖子	`https://stablesocial.dev/api/reddit/subreddit`	—

**输入：**帖子详情使用 {"post_id": "id"}。搜索使用 {"query": "keyword"}。子版块使用 {"subreddit": "name"}。

快速参考 — Scrape Creators Suite（`/api/sc/*`）

一个规模更大、更新的套件（约 155 个端点，全部 $0.06，采用相同的先触发后轮询流程），涵盖更多平台和数据类型。各平台的覆盖范围：

平台	基础路径	覆盖范围亮点
TikTok	`https://stablesocial.dev/api/sc/tiktok/...`	个人资料、视频、视频转录文本、评论/回复、关注者/关注对象、受众人口统计信息、搜索（用户/话题标签/关键词/热门内容）、热门信息流、热门创作者/话题标签、歌曲、Shop 商品/评论
Instagram	`https://stablesocial.dev/api/sc/instagram/...`	个人资料、帖子、Reels、帖子/Reels 信息、媒体转录文本、评论、精选快拍、话题标签/个人资料/Reels 搜索、热门 Reels
YouTube	`https://stablesocial.dev/api/sc/youtube/...`	频道详情/视频/播放列表/直播/Shorts/社区帖子、视频详情、转录文本、赞助商、评论/回复、搜索、热门 Shorts
LinkedIn	`https://stablesocial.dev/api/sc/linkedin/...`	个人资料（传入 linkedin.com/in/... URL）、公司主页/帖子、帖子详情/转录文本、帖子搜索、广告搜索/详情
Facebook	`https://stablesocial.dev/api/sc/facebook/...`	个人资料、帖子/Reels/照片、帖子转录文本、评论/回复、小组帖子、广告资料库（搜索/详情/转录文本/公司广告）、Marketplace（搜索/商品/地点）、活动（搜索/详情）
X/Twitter	`https://stablesocial.dev/api/sc/twitter/...`	个人资料、用户推文、推文详情/转录文本、社群
Reddit	`https://stablesocial.dev/api/sc/reddit/...`	subreddit 详情/帖子/搜索、帖子评论/转录文本、搜索
GitHub	`https://stablesocial.dev/api/sc/github/...`	用户、代码库、PR、活动、关注者/关注对象、贡献、代码库、热门代码库/开发者
Rumble	`https://stablesocial.dev/api/sc/rumble/...`	搜索、频道视频、视频、转录文本、评论
广告资料库	`.../api/sc/tiktok/ad-library/...`、`.../api/sc/google/...`、`.../api/sc/linkedin/ads/...`	TikTok 广告资料库搜索/广告、Google 公司广告/广告详情/广告主搜索、LinkedIn 广告
其他	`https://stablesocial.dev/api/sc/...`	Truth Social、Threads、Bluesky、Pinterest、Twitch、Spotify、SoundCloud、Kwai、Kick、Snapchat、Google Search、Amazon Shop、个人主页链接页面（Linktree、Komi、Pillar、Linkbio、Linkme）、年龄/性别检测

代表性示例：

npx agentcash@latest fetch https://stablesocial.dev/api/sc/tiktok/profile -m POST -b '{"handle": "username"}'
npx agentcash@latest fetch https://stablesocial.dev/api/sc/youtube/video/transcript -m POST -b '{"url": "https://youtube.com/watch?v=..."}'
npx agentcash@latest fetch https://stablesocial.dev/api/sc/linkedin/profile -m POST -b '{"url": "https://linkedin.com/in/someone"}'
npx agentcash@latest fetch https://stablesocial.dev/api/sc/facebook/adLibrary/search/ads -m POST -b '{"query": "brand name"}'

**输入：**因端点而异——许多端点接受 {"handle": ...} 或 ID，有些接受完整的 {"url": ...}（例如 LinkedIn 个人资料）。不确定时，请查看端点架构（npx agentcash@latest discover https://stablesocial.dev）。

快速参考 — Lightreel UGC 研究 Agent（`/api/lightreel/*`）

面向 UGC／短视频内容的 AI 研究 Agent。每次调用均为 $0.06；会立即返回一个持久化任务，可通过 GET /api/jobs/{jobId} 轮询。任务属于研究工作，可能需要几分钟，而非几秒。

任务	端点
向 Agent 提问	`https://stablesocial.dev/api/lightreel/chat`
表现最佳的开场钩子	`https://stablesocial.dev/api/lightreel/top-hooks`
UGC 视频搜索	`https://stablesocial.dev/api/lightreel/video-search`
创作者搜索（含联系信息）	`https://stablesocial.dev/api/lightreel/creator-search`
内容趋势	`https://stablesocial.dev/api/lightreel/trends`
账号审核／反馈	`https://stablesocial.dev/api/lightreel/account-feedback`
竞品策略	`https://stablesocial.dev/api/lightreel/competitor-strategy`
脚本创意	`https://stablesocial.dev/api/lightreel/script-ideas`
视频创意	`https://stablesocial.dev/api/lightreel/video-ideas`
视频／草稿反馈	`https://stablesocial.dev/api/lightreel/video-feedback`
UGC 简报	`https://stablesocial.dev/api/lightreel/ugc-brief`
内容日历	`https://stablesocial.dev/api/lightreel/content-calendar`
品牌提及	`https://stablesocial.dev/api/lightreel/brand-mentions`
创作者表现	`https://stablesocial.dev/api/lightreel/creator-performance`

输入：/chat 接受 {"question": "..."}（必填）；可选的 conversation_id 用于继续对话，response_fields（最多 5 个字段，类型为 string 或 array）用于指定结构化输出。任务端点接受各自特定的字段——例如，/top-hooks 接受 {"topic": "..."}（必填），以及可选的 timeframe、platform、max_hooks、conversation_id。

npx agentcash@latest fetch https://stablesocial.dev/api/lightreel/top-hooks -m POST -b '{"topic": "skincare UGC ads"}'

免费且通过 SIWX 验证身份的附加功能：GET /api/lightreel/chats 可列出你的 Lightreel 聊天记录；GET /api/lightreel/chat/{conversationId} 可获取聊天记录（必须使用付款的钱包）。

数据依赖

某些端点需要先进行数据采集。例如，要获取粉丝，必须先触发个人资料采集：

# 1. Trigger profile collection
npx agentcash@latest fetch https://stablesocial.dev/api/instagram/profile -m POST -b '{"handle": "natgeo"}'
# Poll until finished...

# 2. Now fetch followers (depends on profile)
npx agentcash@latest fetch https://stablesocial.dev/api/instagram/followers -m POST -b '{"handle": "natgeo"}'
# Poll until finished...

分页

结果分页时，响应会包含 page_info.has_next_page 和 cursor。传入游标即可获取下一页（每页都需要发起新的付费 POST 请求）：

npx agentcash@latest fetch https://stablesocial.dev/api/tiktok/followers -m POST -b '{"handle": "username", "cursor": "abc123"}'

关键参数

handle / profile_id — 目标账号
max_page_size — 每页结果数（默认值因情况而异，最大为 100）
max_followers — 要采集的粉丝数（默认值为 500）
max_posts / max_results — 条目数量限制（默认值为 50）
cursor — 上一条响应中的分页游标
order_by — 排序顺序：date_desc、date_asc、id_desc

工作流

深入分析个人资料

跨平台搜索

在多个平台搜索相同关键词
比较结果并综合分析

npx agentcash@latest fetch https://stablesocial.dev/api/instagram/search -m POST -b '{"query": "brand name"}'
npx agentcash@latest fetch https://stablesocial.dev/api/tiktok/search -m POST -b '{"query": "brand name"}'
npx agentcash@latest fetch https://stablesocial.dev/api/reddit/search -m POST -b '{"query": "brand name"}'

网红分析

获取目标平台上的个人资料
获取近期帖子及互动数据
获取粉丝列表以分析受众
检查评论以了解情绪倾向

竞争情报

在目标平台搜索竞品
获取竞品帖子及互动数据
监控竞品在各平台上的提及情况
通过评论分析受众情绪倾向

npx agentcash@latest fetch https://stablesocial.dev/api/instagram/profile -m POST -b '{"handle": "competitor"}'
npx agentcash@latest fetch https://stablesocial.dev/api/reddit/search -m POST -b '{"query": "competitor name"}'

费用估算

所有端点每次触发调用均为 $0.06。轮询免费。

任务	调用次数	费用
单个个人资料	1	$0.06
个人资料 + 帖子	2	$0.12
完整的个人资料深入分析	4-6	$0.24-0.36
跨平台搜索（3 个平台）	3	$0.18
竞品分析	4-8	$0.24-0.48

vs social-intelligence 技能

social-intelligence 技能使用 Reddit（stableenrich.dev）。可用于快速查找 Reddit 帖子和讨论。

需要以下内容时，请使用 social-scraping（此技能）：

TikTok、Instagram、YouTube、LinkedIn、X/Twitter、Facebook、Reddit、GitHub 或其他平台的数据（超出基础 Reddit 搜索范围）
个人资料、粉丝、关注对象，而不只是搜索
帖子和视频上的评论、回复、表情回应、转录文本
广告库、Marketplace、活动数据
通过 Lightreel 进行 UGC 研究（吸引点、趋势、创作者、脚本）
跨平台研究

支持 Markdown

登录后评论

基本信息

作者: merit-systems
仓库: merit-systems/agentcash-skills
分类: 数据与数据库
安装次数: 273
GitHub Stars: 23

报告问题