Scrape Everything

Scrape Everything MCP サーバー

Scrape Everything 用の MCP サーバーです。公開ソーシャルデータを整った JSON で取得できます。Claude、Cursor、VS Code、Windsurf、その他あらゆる MCP クライアントから、Instagram、TikTok、X、YouTube、Facebook、Telegram、Spotify、Pinterest、Twitch の公開データを取得できます。

• API エンドポイントごとにツールを用意。 起動時にサーバーは GET /v1/scrapers から最新のカタログを読み込み、スクレイパーごとにツール（instagram_profile、tiktok_posts、youtube_transcript、...）を登録します。新しいエンドポイントはパッケージを更新しなくても利用できます。
• オフラインでも動作。 カタログを取得できない場合、サーバーは同梱のスナップショットを使って起動します。
• コストを事前に表示。 各ツールの説明には、クレジットコストと返されるフィールドが記載されています。失敗した呼び出しは返金されます。
• 読みやすいエラーを返す。 API エラーは、エラーの code と request_id を保持したツールエラーとして返されます。RATE_LIMITED の場合は、エラーに Retry-After の待機時間が含まれます。サーバーが自動で再試行することはありません。
• 結果のサイズを制限。 結果は JSON テキストで、デフォルトでは 100k 文字で切り詰められます。切り詰めが発生した場合は、その旨が通知されます。
• テレメトリーを送信しません。 ネットワーク呼び出しは Scrape Everything API 宛てのみです。

API キーを取得する

https://scrapeeverything.com/dashboard/keys でキーを作成します。キーは ssk_live_... の形式です。

インストール

Claude Code

claude mcp add scrapeeverything -e SCRAPEEVERYTHING_API_KEY=ssk_live_... -- npx -y @scrapeeverything/mcp

Claude Desktop

claude_desktop_config.json を編集します（Settings、次に Developer、次に Edit Config）：

{
  "mcpServers": {
    "scrapeeverything": {
      "command": "npx",
      "args": ["-y", "@scrapeeverything/mcp"],
      "env": { "SCRAPEEVERYTHING_API_KEY": "ssk_live_..." }
    }
  }
}

Windows で npx が見つからない場合は、"command": "cmd" と "args": ["/c", "npx", "-y", "@scrapeeverything/mcp"] を使用してください。

Cursor

~/.cursor/mcp.json（グローバル）または .cursor/mcp.json（プロジェクト）に追加します：

{
  "mcpServers": {
    "scrapeeverything": {
      "command": "npx",
      "args": ["-y", "@scrapeeverything/mcp"],
      "env": { "SCRAPEEVERYTHING_API_KEY": "ssk_live_..." }
    }
  }
}

VS Code（GitHub Copilot エージェントモード）

.vscode/mcp.json に追加します。VS Code がキーの入力を求め、安全に保存します：

{
  "inputs": [
    { "type": "promptString", "id": "scrapeeverything-key", "description": "Scrape Everything API key", "password": true }
  ],
  "servers": {
    "scrapeeverything": {
      "type": "stdio",
      "command": "npx",
      "args": ["-y", "@scrapeeverything/mcp"],
      "env": { "SCRAPEEVERYTHING_API_KEY": "${input:scrapeeverything-key}" }
    }
  }
}

または、ターミナルから実行します：

code --add-mcp '{"name":"scrapeeverything","command":"npx","args":["-y","@scrapeeverything/mcp"],"env":{"SCRAPEEVERYTHING_API_KEY":"ssk_live_..."}}'

Windsurf

~/.codeium/windsurf/mcp_config.json に追加します：

{
  "mcpServers": {
    "scrapeeverything": {
      "command": "npx",
      "args": ["-y", "@scrapeeverything/mcp"],
      "env": { "SCRAPEEVERYTHING_API_KEY": "ssk_live_..." }
    }
  }
}

セルフホスト可能なストリーミング可能 HTTP

SCRAPEEVERYTHING_API_KEY=ssk_live_... npx -y @scrapeeverything/mcp --http --port 3333
# MCP endpoint: http://127.0.0.1:3333/mcp   health: /health

HTTP モードはステートレスで、POST のみを受け付けます。デフォルトでは 127.0.0.1 にバインドし、ループバックの Host ヘッダーと Origin ヘッダー（127.0.0.1、localhost、[::1]）のみを受け付けることで、DNS リバインディングを防ぎます。ループバックでは、各リクエストに Authorization: Bearer ssk_live_... または x-api-key で個別のキーを指定できます。リクエストにキーがない場合、サーバーは SCRAPEEVERYTHING_API_KEY を使用します。

別のアドレスで待ち受けるには、受信認証トークンを設定する必要があります。設定しない場合、サーバーは起動を拒否するため、キーを消費するオープンプロキシとして動作することはありません：

SCRAPEEVERYTHING_MCP_AUTH_TOKEN="$(openssl rand -hex 32)" \
  npx -y @scrapeeverything/mcp --http --host 0.0.0.0 --port 3333 --allowed-host mcp.example.com

• クライアントは Authorization: Bearer <token> を送信します。トークンは一定時間で比較され、16 文字以上である必要があります。
• トークンを設定した場合、各クライアントは x-api-key で個別の Scrape Everything キーを送信します。--allow-shared-key を指定しない限り、サーバーの SCRAPEEVERYTHING_API_KEY はフォールバックとして使用されません。
• --allowed-host（複数回指定可能、またはカンマ区切りの SCRAPEEVERYTHING_MCP_ALLOWED_HOSTS）は Host ヘッダーを制限します。Origin ヘッダーを送信するリクエストは、許可されたホストまたは --allowed-origin（SCRAPEEVERYTHING_MCP_ALLOWED_ORIGINS）と一致する必要があります。
• トークンとキーが平文で送信されないよう、サーバーの前段（リバースプロキシ）で TLS を終端させてください。

設定

変数	デフォルト	目的
SCRAPEEVERYTHING_API_KEY	(none)	API キーです。スクレイパーツールと get_account に必須です。
SCRAPEEVERYTHING_API_URL	https://api.scrapeeverything.com	API のベース URL です。ホストがループバックの場合を除き、https である必要があります（ローカル開発では http://127.0.0.1:4001）。
SCRAPEEVERYTHING_MCP_AUTH_TOKEN	(none)	HTTP モード：受信するベアラートークンです。ループバック以外のホストにバインドする場合に必須です。
SCRAPEEVERYTHING_MCP_ALLOWED_HOSTS	(none)	HTTP モード：許可する追加の Host 値をカンマ区切りで指定します。
SCRAPEEVERYTHING_MCP_ALLOWED_ORIGINS	(none)	HTTP モード：許可する追加の Origin 値をカンマ区切りで指定します。
SCRAPEEVERYTHING_MCP_MAX_CHARS	100000	切り捨て前のツール結果の最大文字数です。
SCRAPEEVERYTHING_MCP_SCHEMA_ANYOF	off	1 に設定すると、one_of グループを required セットのトップレベル anyOf として出力します。

one_of について：一部のエンドポイントでは、たとえば url または shortcode のように、複数の入力のうちいずれかを受け付けます。Anthropic の API を含む複数のクライアントは、ツールスキーマ内のトップレベル anyOf を拒否します。そのためデフォルトでは、このルールはスキーマ／ツールの説明に記載され、API を呼び出す前にサーバーがチェックします。この場合、クレジットは消費されません。クライアントが anyOf に対応している場合は、SCRAPEEVERYTHING_MCP_SCHEMA_ANYOF=1 を設定してください。

ツール

ツール	クレジット	必須入力
get_account	0	（なし）。メールアドレス、プラン、クレジット、レート／同時実行数の制限を返します。
list_scrapers	0	任意の platform
instagram_profile	1	username
instagram_photos	2	username
instagram_post	1	url または shortcode のいずれか
instagram_reel	1	url または shortcode のいずれか
instagram_comments	1	url または shortcode のいずれか
instagram_reels	2	username
instagram_reels_search	3	query
x_profile	1	username
x_posts	2	username
x_post	1	url または id のいずれか
tiktok_profile	1	username
tiktok_posts	1	username
tiktok_video	1	url、video、id のいずれか
tiktok_comments	1	url または id のいずれか
tiktok_transcript	1	url または id のいずれか
tiktok_music	2	url または id のいずれか
tiktok_hashtag	1	hashtag
youtube_profile	1	username または channel のいずれか
youtube_videos	1	username または channel のいずれか
youtube_video	1	url、id、video のいずれか
youtube_search	1	query
youtube_comments	1	url または id のいずれか
youtube_transcript	1	url または id のいずれか
youtube_playlist	1	url または id のいずれか
facebook_profile	1	username
telegram_profile	1	username
telegram_posts	2	username
telegram_post	1	url、post、または username + id のいずれか
spotify_track	1	url、id、track のいずれか
spotify_artist	1	url、id、artist のいずれか
spotify_album	1	url、id、album のいずれか
spotify_playlist	1	url、id、playlist のいずれか
pinterest_profile	1	username
pinterest_pins	2	username
pinterest_pin	1	url または id のいずれか
pinterest_search	2	query
pinterest_board	2	url または username + board のいずれか
twitch_channel	1	username
twitch_videos	1	username
twitch_clips	1	username

最新のカタログが正確な情報源です。アシスタントに list_scrapers を実行して、現在の一覧を確認するよう依頼してください。

開発

npm install
npm run build
npm test
npm run update-catalog   # refresh catalog/scrapers.json (honours SCRAPEEVERYTHING_API_URL)
node dist/index.js --help

npx @modelcontextprotocol/inspector node dist/index.js で、サーバーを対話的に調べられます。

組織とスコープのプレースホルダー

org.config.json は、GitHub 組織（scrapeeverything）と npm スコープ（@scrapeeverything）を記録する唯一の場所です。変更するには、次を実行します。

npm run apply-org -- --github-org <org> --npm-scope @<scope>

これにより、package.json（name、mcpName、repository）、server.json、smithery.yaml、この README が書き換えられます。MCP Registry の名前 io.github.<org>/mcp は、公開元の GitHub 組織と一致している必要があります。glama.json には Glama のメンテナーの GitHub ユーザー名が記載されているため、創設者の GitHub ユーザー名を指定してください。

リリース

1. npm version patch（または minor／major）を実行します。これにより server.json も同期されます。
2. git push --follow-tags を実行します。
3. release.yml ワークフローにより、provenance を付与して（NPM_TOKEN シークレットを使用）npm に公開し、その後 GitHub OIDC を通じて server.json を公式 MCP Registry に公開します。

Scrape Everything について

Scrape Everything は、公開されているソーシャルメディアデータ向けの REST API です。ユーザー名、リンク、または ID を送信すると、Instagram、TikTok、X、YouTube、Facebook、Telegram、Spotify、Pinterest、Twitch のデータを、整った型付き JSON で取得できます。成功したリクエストごとに、期限切れにならない前払いクレジットで支払います。新規アカウントには、最初に 100 クレジットが無料で付与されます。https://scrapeeverything.com

ライセンス

MIT © 2026 Scrape Everything