mcpField
S
social-scraping

social-scraping

github.com/merit-systemsデータ・データベース23273 回インストール10 週間前に更新
リポジトリ

social-scraping について

StableSocial APIで複数プラットフォームのプロフィール、投稿、コメントなどを収集し、LightreelのUGC調査タスクを実行するスキルです。エンドポイントの選択と非同期の実行・ポーリング手順を案内します。

主な機能

  1. 01複数プラットフォームのソーシャルデータ収集
  2. 02プロフィール、投稿、コメント、検索
  3. 03Scrape Creatorsエンドポイント群
  4. 04LightreelのUGC調査タスク
  5. 05実行・ポーリング方式のジョブ処理
  6. 06カーソルによるページネーション

活用シーン

  1. 01ソーシャルプロフィールや投稿の収集
  2. 02プラットフォーム上のコンテンツや広告の検索
  3. 03UGCのトレンドやクリエイターの調査
  4. 04コンテンツやキャンペーンの調査

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/merit-systems/agentcash-skills --skill social-scraping

インストール後、Claude Code で/social-scrapingを入力して読み込まれたか確認します。

同梱ファイルrules/getting-started.md

詳細

StableSocial によるソーシャルメディアのスクレイピング

20 以上のプラットフォームで、プロフィール、投稿、コメント、フォロワーのスクレイピングや検索ができます。対象は TikTok、Instagram、YouTube、LinkedIn、X/Twitter、Facebook、Reddit、GitHub、Rumble、Threads、Bluesky、Pinterest、Twitch、Spotify などです。さらに、広告ライブラリと UGC リサーチエージェント(Lightreel)も利用できます。すべてのエンドポイントの料金は 1 回あたり $0.06 です。

エンドポイントは次の 3 系統です。

  • レガシーのプラットフォームエンドポイント(/api/tiktok/*、/api/instagram/*、/api/facebook/*、/api/reddit/*)— プロフィール、投稿、コメント、フォロワー、検索
  • Scrape Creators スイート(/api/sc/*)— 文字起こし、広告ライブラリ、ニッチなプラットフォームを含む、より幅広いプラットフォームとデータに対応
  • Lightreel UGC リサーチエージェント(/api/lightreel/*)— 永続ジョブによるリサーチタスク(フック、トレンド、クリエイター検索、スクリプト、ブリーフ)

セットアップ

インストールとウォレットの設定については、rules/getting-started.md を参照してください。

注意事項

有料の POST トリガーには npx agentcash@latest fetch を使用してください。無料の GET ポーリングには npx agentcash@latest fetch を使用してください。

重要:以下のクイックリファレンステーブルに記載された正確なエンドポイントパスを使用してください。すべてのパスにはプラットフォームのプレフィックスが含まれています(例:https://stablesocial.dev/api/tiktok/...)。

仕組み:非同期の 2 段階フロー

すべてのリクエストは、トリガーしてからポーリングするパターンに従います。

ステップ 1:トリガー(有料、$0.06)
npx agentcash@latest fetch https://stablesocial.dev/api/instagram/profile -m POST -b '{"handle": "natgeo"}'

永続ジョブ ID、ポーリング URL、レガシー JWT トークンを含む 202 Accepted が返されます。

{"jobId": "abc123", "status": "pending", "pollUrl": "https://stablesocial.dev/api/jobs/abc123", "token": "eyJhbGciOiJIUzI1NiIs..."}
ステップ 2:ポーリング(無料)

ジョブ ID で永続ジョブをポーリングします(支払いに使用したウォレットによる SIWX 認証が必要です。agentcash CLI がこれを自動的に処理します)。

npx agentcash@latest fetch https://stablesocial.dev/api/jobs/abc123

または、レガシートークンを使用してポーリングします(ウォレット認証は不要です)。

npx agentcash@latest fetch "https://stablesocial.dev/api/jobs?token=eyJhbGciOiJIUzI1NiIs..."
  • {"status": "pending"} — 3~5 秒後にもう一度ポーリングします
  • {"status": "finished", "data": {...}} — データの準備ができています
  • {"status": "failed", "error": "..."} — 収集に失敗しました(課金されません)

トークンの有効期限は 30 分ですが、永続ジョブは jobId で引き続きポーリングできます。ジョブは通常 5~60 秒で完了します(Lightreel のジョブはさらに時間がかかる場合があります)。GET /api/jobs(トークン不要)で、永続ジョブの一覧を取得できます。

クイックリファレンス — TikTok

タスクエンドポイント依存先
プロフィールを取得https://stablesocial.dev/api/tiktok/profile—
投稿を取得https://stablesocial.dev/api/tiktok/postsprofile
投稿のコメントhttps://stablesocial.dev/api/tiktok/post-commentsposts
コメントへの返信https://stablesocial.dev/api/tiktok/comment-repliespost-comments
フォロワーhttps://stablesocial.dev/api/tiktok/followersprofile
フォロー中https://stablesocial.dev/api/tiktok/followingprofile
投稿を検索https://stablesocial.dev/api/tiktok/search—
ハッシュタグを検索https://stablesocial.dev/api/tiktok/search-hashtag—
プロフィールを検索https://stablesocial.dev/api/tiktok/search-profiles—
音楽で検索https://stablesocial.dev/api/tiktok/search-music—

入力: プロフィール、投稿、フォロワーには {"handle": "username"} を指定します。検索には {"query": "keyword"} を指定します。

クイックリファレンス — Instagram

タスクエンドポイント依存先
プロフィールを取得https://stablesocial.dev/api/instagram/profile—
投稿を取得https://stablesocial.dev/api/instagram/postsprofile
投稿のコメントhttps://stablesocial.dev/api/instagram/post-commentsposts
コメントへの返信https://stablesocial.dev/api/instagram/comment-repliespost-comments
フォロワーhttps://stablesocial.dev/api/instagram/followersprofile
フォロー中https://stablesocial.dev/api/instagram/followingprofile
ストーリーズhttps://stablesocial.dev/api/instagram/storiesprofile
ハイライトhttps://stablesocial.dev/api/instagram/highlightsprofile
投稿を検索https://stablesocial.dev/api/instagram/search—
タグを検索https://stablesocial.dev/api/instagram/search-tags—

入力: プロフィール、投稿、フォロワーには {"handle": "username"} を指定します。検索には {"query": "keyword"} を指定します。

クイックリファレンス — Facebook

タスクエンドポイント依存先
プロフィールを取得https://stablesocial.dev/api/facebook/profile—
投稿を取得https://stablesocial.dev/api/facebook/postsプロフィール
投稿のコメントhttps://stablesocial.dev/api/facebook/post-comments投稿
コメントへの返信https://stablesocial.dev/api/facebook/comment-replies投稿のコメント
フォロワーhttps://stablesocial.dev/api/facebook/followersプロフィール
フォロー中https://stablesocial.dev/api/facebook/followingプロフィール
投稿を検索https://stablesocial.dev/api/facebook/search—
人物を検索https://stablesocial.dev/api/facebook/search-people—
ページを検索https://stablesocial.dev/api/facebook/search-pages—
グループを検索https://stablesocial.dev/api/facebook/search-groups—

入力: プロフィールには {"handle": "username"} または {"profile_id": "id"} を使用します。検索には {"query": "keyword"} を使用します。

クイックリファレンス — Reddit

タスクエンドポイント依存先
投稿を取得https://stablesocial.dev/api/reddit/post—
投稿のコメントhttps://stablesocial.dev/api/reddit/post-comments投稿
コメントを取得https://stablesocial.dev/api/reddit/comment—
投稿を検索https://stablesocial.dev/api/reddit/search—
プロフィールを検索https://stablesocial.dev/api/reddit/search-profiles—
サブレディットの投稿https://stablesocial.dev/api/reddit/subreddit—

入力: 投稿の詳細には {"post_id": "id"} を使用します。検索には {"query": "keyword"} を使用します。サブレディットには {"subreddit": "name"} を使用します。

クイックリファレンス — Scrape Creators Suite(/api/sc/*)

より多くのプラットフォームとデータ形式をカバーする、より大規模で新しいスイートです(エンドポイント約155件、すべて$0.06、トリガーしてからポーリングする同じフロー)。プラットフォームごとの対応範囲:

プラットフォームベースパス主な対応範囲
TikTokhttps://stablesocial.dev/api/sc/tiktok/...プロフィール、動画、動画の文字起こし、コメント/返信、フォロワー/フォロー中、オーディエンスの人口統計、検索(ユーザー/ハッシュタグ/キーワード/人気順)、トレンドフィード、人気のクリエイター/ハッシュタグ、楽曲、Shop の商品/レビュー
Instagramhttps://stablesocial.dev/api/sc/instagram/...プロフィール、投稿、リール、投稿/リールの情報、メディアの文字起こし、コメント、ハイライト、ハッシュタグ/プロフィール/リールの検索、トレンドのリール
YouTubehttps://stablesocial.dev/api/sc/youtube/...チャンネルの詳細/動画/再生リスト/ライブ配信/ショート/コミュニティ投稿、動画の詳細、文字起こし、スポンサー、コメント/返信、検索、トレンドのショート
LinkedInhttps://stablesocial.dev/api/sc/linkedin/...個人プロフィール(linkedin.com/in/... URL を指定)、企業ページ/投稿、投稿の詳細/文字起こし、投稿検索、広告の検索/詳細
Facebookhttps://stablesocial.dev/api/sc/facebook/...プロフィール、投稿/リール/写真、投稿の文字起こし、コメント/返信、グループ投稿、広告ライブラリ(検索/詳細/文字起こし/企業広告)、Marketplace(検索/商品/場所)、イベント(検索/詳細)
X/Twitterhttps://stablesocial.dev/api/sc/twitter/...プロフィール、ユーザーのツイート、ツイートの詳細/文字起こし、コミュニティ
Reddithttps://stablesocial.dev/api/sc/reddit/...サブレディットの詳細/投稿/検索、投稿のコメント/文字起こし、検索
GitHubhttps://stablesocial.dev/api/sc/github/...ユーザー、リポジトリ、PR、アクティビティ、フォロワー/フォロー中、コントリビューション、リポジトリ、トレンドのリポジトリ/開発者
Rumblehttps://stablesocial.dev/api/sc/rumble/...検索、チャンネルの動画、動画、文字起こし、コメント
広告ライブラリ.../api/sc/tiktok/ad-library/...、.../api/sc/google/...、.../api/sc/linkedin/ads/...TikTok 広告ライブラリの検索/広告、Google の企業広告/広告の詳細/広告主検索、LinkedIn の広告
その他https://stablesocial.dev/api/sc/...Truth Social、Threads、Bluesky、Pinterest、Twitch、Spotify、SoundCloud、Kwai、Kick、Snapchat、Google Search、Amazon Shop、リンクインバイオページ(Linktree、Komi、Pillar、Linkbio、Linkme)、年齢/性別の検出

代表的な例:

npx agentcash@latest fetch https://stablesocial.dev/api/sc/tiktok/profile -m POST -b '{"handle": "username"}'
npx agentcash@latest fetch https://stablesocial.dev/api/sc/youtube/video/transcript -m POST -b '{"url": "https://youtube.com/watch?v=..."}'
npx agentcash@latest fetch https://stablesocial.dev/api/sc/linkedin/profile -m POST -b '{"url": "https://linkedin.com/in/someone"}'
npx agentcash@latest fetch https://stablesocial.dev/api/sc/facebook/adLibrary/search/ads -m POST -b '{"query": "brand name"}'

入力: エンドポイントによって異なります。{"handle": ...} または ID を受け付けるものが多く、完全な {"url": ...} を受け付けるものもあります(例:LinkedIn のプロフィール)。不明な場合は、エンドポイントのスキーマ(npx agentcash@latest discover https://stablesocial.dev)を確認してください。

クイックリファレンス — Lightreel UGC リサーチエージェント(/api/lightreel/*)

UGC/ショート動画コンテンツ向けのAIリサーチエージェントです。呼び出しごとに $0.06 です。永続的なジョブがすぐに返されます。GET /api/jobs/{jobId} をポーリングしてください。ジョブはリサーチタスクのため、数秒ではなく数分かかることがあります。

タスクエンドポイント
エージェントに何でも質問するhttps://stablesocial.dev/api/lightreel/chat
パフォーマンス上位のフックhttps://stablesocial.dev/api/lightreel/top-hooks
UGC動画検索https://stablesocial.dev/api/lightreel/video-search
クリエイター検索(連絡先情報を含む)https://stablesocial.dev/api/lightreel/creator-search
コンテンツのトレンドhttps://stablesocial.dev/api/lightreel/trends
アカウントの監査/フィードバックhttps://stablesocial.dev/api/lightreel/account-feedback
競合の戦略https://stablesocial.dev/api/lightreel/competitor-strategy
スクリプトのアイデアhttps://stablesocial.dev/api/lightreel/script-ideas
動画のアイデアhttps://stablesocial.dev/api/lightreel/video-ideas
動画/下書きへのフィードバックhttps://stablesocial.dev/api/lightreel/video-feedback
UGCブリーフhttps://stablesocial.dev/api/lightreel/ugc-brief
コンテンツカレンダーhttps://stablesocial.dev/api/lightreel/content-calendar
ブランドへの言及https://stablesocial.dev/api/lightreel/brand-mentions
クリエイターのパフォーマンスhttps://stablesocial.dev/api/lightreel/creator-performance

入力: /chat では {"question": "..."}(必須)を指定します。会話を続けるための任意の conversation_id と、構造化出力用の response_fields(最大5項目、型は string または array)も指定できます。タスクエンドポイントには、タスク固有のフィールドを指定します。たとえば /top-hooks では、{"topic": "..."}(必須)に加えて、任意の timeframe、platform、max_hooks、conversation_id を指定します。

npx agentcash@latest fetch https://stablesocial.dev/api/lightreel/top-hooks -m POST -b '{"topic": "skincare UGC ads"}'

無料のSIWX認証付き追加機能:GET /api/lightreel/chats ではLightreelのチャット一覧を取得できます。GET /api/lightreel/chat/{conversationId} では会話の記録を取得できます(支払いを行ったウォレットである必要があります)。

データの依存関係

一部のエンドポイントでは、事前の収集が必要です。たとえば、フォロワーを取得するには、まずプロフィールの取得を開始する必要があります。

# 1. Trigger profile collection
npx agentcash@latest fetch https://stablesocial.dev/api/instagram/profile -m POST -b '{"handle": "natgeo"}'
# Poll until finished...

# 2. Now fetch followers (depends on profile)
npx agentcash@latest fetch https://stablesocial.dev/api/instagram/followers -m POST -b '{"handle": "natgeo"}'
# Poll until finished...

ページネーション

結果がページ分割されている場合、レスポンスには page_info.has_next_page と cursor が含まれます。次のページを取得するにはカーソルを渡してください(各ページで新たに有料のPOSTが必要です)。

npx agentcash@latest fetch https://stablesocial.dev/api/tiktok/followers -m POST -b '{"handle": "username", "cursor": "abc123"}'

主なパラメーター

  • handle / profile_id — 対象アカウント
  • max_page_size — 1ページあたりの結果数(デフォルトは可変、最大100)
  • max_followers — 収集するフォロワー数(デフォルト500)
  • max_posts / max_results — 項目数の上限(デフォルト50)
  • cursor — 前回のレスポンスから取得したページネーションカーソル
  • order_by — 並べ替え順:date_desc、date_asc、id_desc

ワークフロー

プロフィールの詳細分析
  • (任意)残高を確認:npx agentcash@latest balance
  • プロフィールの収集を開始
  • 完了するまでポーリング
  • 投稿の収集を開始
  • 完了するまでポーリング
  • 必要に応じてコメント、フォロワーを取得
クロスプラットフォーム検索
  • 複数のプラットフォームで同じキーワードを検索
  • 結果を比較し、調査結果をまとめる
npx agentcash@latest fetch https://stablesocial.dev/api/instagram/search -m POST -b '{"query": "brand name"}'
npx agentcash@latest fetch https://stablesocial.dev/api/tiktok/search -m POST -b '{"query": "brand name"}'
npx agentcash@latest fetch https://stablesocial.dev/api/reddit/search -m POST -b '{"query": "brand name"}'
インフルエンサー分析
  • 対象プラットフォームのプロフィールを取得
  • エンゲージメントを含む最近の投稿を取得
  • オーディエンス分析用にフォロワー一覧を取得
  • 感情分析のためにコメントを確認
競合インテリジェンス
  • 対象プラットフォームで競合を検索
  • 競合の投稿とエンゲージメントを取得
  • 複数のプラットフォームで競合への言及を監視
  • コメントを通じてオーディエンスの感情を分析
npx agentcash@latest fetch https://stablesocial.dev/api/instagram/profile -m POST -b '{"handle": "competitor"}'
npx agentcash@latest fetch https://stablesocial.dev/api/reddit/search -m POST -b '{"query": "competitor name"}'

コストの見積もり

すべてのエンドポイントは、呼び出し1回につき $0.06 です。ポーリングは無料です。

タスク呼び出し回数コスト
単一プロフィール1$0.06
プロフィール+投稿2$0.12
プロフィールの詳細分析一式4-6$0.24-0.36
クロスプラットフォーム検索(3プラットフォーム)3$0.18
競合分析4-8$0.24-0.48

vs social-intelligence スキル

social-intelligence スキルは Reddit(stableenrich.dev)を使用します。Reddit の投稿をすばやく検索したり、ディスカッションを調べたりする場合に使用してください。

次の場合は social-scraping(このスキル)を使用してください。

  • TikTok、Instagram、YouTube、LinkedIn、X/Twitter、Facebook、Reddit、GitHub、その他のプラットフォームのデータを取得する場合(基本的な Reddit 検索以外)
  • プロフィール、フォロワー、フォロー中のアカウントを調べる場合(検索だけではない)
  • 投稿や動画のコメント、返信、リアクション、文字起こしを調べる場合
  • 広告ライブラリ、マーケットプレイス、イベントのデータを取得する場合
  • Lightreel を使って UGC リサーチ(フック、トレンド、クリエイター、スクリプト)を行う場合
  • クロスプラットフォームのリサーチを行う場合

コメント