WebCrawlerAPI

WebCrawlerAPI MCP サーバー

AI アシスタントがあらゆるウェブページを読みやすい Markdown として取得できる、リモートのModel Context Protocolサーバーです。WebCrawlerAPI 上で実行されるため、JavaScript で描画されるページにも対応し、ナビゲーション、広告、定型コンテンツを取り除きます。ドキュメント、記事、製品ページをナレッジベースやチャットに取り込むために使用できます。

• リモート URL：https://mcp.webcrawlerapi.com/mcp
• トランスポート：Streamable HTTP（ステートレス）
• サインイン：https://auth.webcrawlerapi.com 経由の OAuth 2.1。貼り付ける API キーは不要です
• ツール：get_markdown

WebCrawlerAPI アカウントが必要です。https://dash.webcrawlerapi.com から登録してください。

接続

ワンクリックでインストール：Cursor に追加 · VS Code に追加

以下の各クライアントで最初のリクエストを送信すると、ブラウザーウィンドウが開き、サインインしていずれかの組織へのアクセスを承認します。リクエストはその組織に請求されます。

Claude Code

claude mcp add --transport http webcrawlerapi https://mcp.webcrawlerapi.com/mcp

続いて Claude Code 内で /mcp を実行し、webcrawlerapi を選択して「Authenticate」を選びます。

Claude.ai と Claude Desktop

1. 「Settings」を開き、「Connectors」を選択します。
2. 「Add custom connector」を選択します。
3. 名前：WebCrawlerAPI。URL：https://mcp.webcrawlerapi.com/mcp。
4. 「Connect」をクリックし、ブラウザーでアクセスを承認します。

Cursor

~/.cursor/mcp.json（またはプロジェクト内の .cursor/mcp.json）に以下を追加します。

{
  "mcpServers": {
    "webcrawlerapi": {
      "url": "https://mcp.webcrawlerapi.com/mcp"
    }
  }
}

Cursor の「Settings」を開き、「MCP」を選択して、webcrawlerapi の横にある「Connect」をクリックします。

VS Code

.vscode/mcp.json に以下を追加します（または「MCP: Add Server」を実行し、「HTTP」を選択します）。

{
  "servers": {
    "webcrawlerapi": {
      "type": "http",
      "url": "https://mcp.webcrawlerapi.com/mcp"
    }
  }
}

エントリの上にある CodeLens からサーバーを起動し、ブラウザーでアクセスを承認します。

MCP Inspector

npx @modelcontextprotocol/inspector

トランスポートに「Streamable HTTP」、URL に https://mcp.webcrawlerapi.com/mcp を指定し、「Auth」タブで OAuth フローを実行してから、get_markdown を呼び出します。

ChatGPT

1. 「Settings」、「Connectors」の順に開き、「Developer mode（Advanced）」をオンにします。
2. URL を https://mcp.webcrawlerapi.com/mcp に設定し、認証方式に OAuth を指定してコネクターを作成します。
3. チャットでコネクターを有効にし、ブラウザーでアクセスを承認します。

メニュー名は ChatGPT のプランやリリースによって異なります。カスタムコネクターは、すべてのプランで利用できるとは限りません。

ツールのリファレンス

get_markdown

公開ウェブページを取得し、主要なコンテンツを読みやすい Markdown として返します。

入力	型	必須	説明
url	string	はい	最大 2048 文字の絶対 http:// または https:// URL

ページを Markdown テキストとして返します。失敗した場合、ツールは短い人間が読めるエラーメッセージ（サイトに到達できない、ページが robots.txt でブロックされている、タイムアウト、残高不足など）を含むエラー結果を返します。

アノテーション：読み取り専用、べき等、非破壊的、オープンワールド（公開ウェブにアクセスします）。

呼び出しごとに WebCrawlerAPI 組織に請求されます。https://webcrawlerapi.com/pricing をご覧ください。

認証

このサーバーは OAuth リソースサーバーです。クライアントは https://mcp.webcrawlerapi.com/.well-known/oauth-protected-resource から認可サーバーを検出します。この URL は https://auth.webcrawlerapi.com を指しています。

• スコープ：markdown:read（唯一のスコープ）
• トークンは MCP サーバーの URL（リソースインジケーター）と、承認した組織に紐づけられます。
• ダッシュボードの「Connected apps」で、接続済みのアプリを確認し、アクセスを取り消せます。
• サーバーがトークンを他のサービスに転送することはありません。

プライバシーと利用規約

• プライバシーポリシー：https://webcrawlerapi.com/privacy
• 利用規約：https://webcrawlerapi.com/tos

サーバーは、取得を依頼された URL を受け取り、ページの内容を返します。トークンや、クエリ文字列を含む完全な URL をログに記録することはありません。

料金

利用料金は組織に請求されます。現在の料金：https://webcrawlerapi.com/pricing

コントリビューション

CONTRIBUTING.md と 行動規範 を参照してください。変更内容は CHANGELOG.md に記載されています。

サポート

[email protected]。セキュリティに関する報告については、SECURITY.md を参照してください。

開発

Node 22 と pnpm が必要です。

pnpm install
cp .env.example .env   # fill in the values
pnpm dev               # tsx watch
pnpm lint && pnpm test && pnpm build

設定は環境変数で行います。.env.example と CONTRIBUTING.md を参照してください。レジストリへの公開手順は docs/registry-verification.md に記載されています。

ライセンス

MIT。LICENSE を参照してください。