Scrapingant

mcp-scrapingant

ScrapingAnt MCP — ScrapingAnt のウェブスクレイピング API（scrapingant.com）をラップします

Pipeworx の一部です — AI エージェントを1683以上の稼働中のデータソースに接続する MCP ゲートウェイです。

ツール

ツール	説明
scrapingant_scrape	ScrapingAnt 経由でウェブページをスクレイピングし、生の HTML を返します（ヘッドレスブラウザーによるレンダリング＋ローテーションプロキシ）。JavaScript を多用するサイトやアンチボットページにも対応します。例：scrapingant_scrape({ url: "https://example.com", browser: true, _apiKey: "your-key" })
scrapingant_markdown	ScrapingAnt 経由でウェブページを取得し、整形済みの LLM 向け Markdown（定型部分を除去）を返します。ページのコンテンツをモデルに渡すのに最適です。例：scrapingant_markdown({ url: "https://example.com/article", _apiKey: "your-key" })
scrapingant_extract	ScrapingAnt の AI 抽出機能を使って、ウェブページから構造化データを抽出します。extract_properties に必要なフィールドをカンマ区切りで指定すると、対応する camelCase キーを持つ JSON オブジェクトが返されます。例：scrapingant_extract({ url: "https://example.com/product", extract_properties: "product title, price(number), full description", _apiKey: "your-key" })

クイックスタート

MCP クライアント（Claude Desktop、Cursor、Windsurf など）に追加します。

{
  "mcpServers": {
    "scrapingant": {
      "url": "https://gateway.pipeworx.io/scrapingant/mcp"
    }
  }
}

このエンドポイントが実際に提供するもの

https://gateway.pipeworx.io/scrapingant/mcp の tools/list は、上記の表にあるツールに加えて、Pipeworx 共通のメタツール（ask_pipeworx、discover_tools、search_within、remember／recall など、ゲートウェイ全体で利用できるツール群）も返します。そのため、表示されるツール数はこの表より多くなります。現在、単一パックのエンドポイントには、そのパック固有のツールに加えて、共通ツールがおよそ30個表示されます。接続の initialize レスポンスに正確な対象範囲が記載されており、その日の情報としての正式な回答となります。

これは意図的な設計であり、偶然に多重化されているわけではありません。メタツールを使うと、このパックで扱えない質問にも、カタログ全体から振り分けを行う ask_pipeworx 経由で回答できます。そのため、MCP サーバーを追加する必要はありません。現時点では、メタツールなしでパックのエンドポイントをマウントする方法はありません。追加のスキーマによるコンテキスト消費が振り分けの利点を上回る場合は、複数のパックエンドポイントではなく、フルゲートウェイに一度接続してください。

または、フル Pipeworx ゲートウェイに接続すると、このパックだけでなく、すべてのパックのツールが直接一覧表示されます。

{
  "mcpServers": {
    "pipeworx": {
      "url": "https://gateway.pipeworx.io/mcp"
    }
  }
}

どちらの URL からも、同じゲートウェイと同じ1683以上のデータソースにアクセスできます。異なるのは、どのパックのツールが直接一覧表示されるかだけです。どちらからでも ask_pipeworx を使って、すべてのツールにアクセスできます。

MCP クライアントを使わない場合：HTTP 経由で呼び出す

このパックでは独自の API キー（_apiKey）を使用します。こちらで API キーを提供していないため、キーなしで実行できる curl コマンドはありません。ツールの確認：GET https://gateway.pipeworx.io/v1/tools/scrapingant_scrape。検索する場合：POST https://gateway.pipeworx.io/v1/tools/search_packs に {"query":"..."} を指定します。

スタンドアロン（ゲートウェイアカウント不要）

このパッケージはローカルの stdio MCP サーバーとしても実行できます。Pipeworx アカウントは不要で、ゲートウェイへのラウンドトリップもありません。

{
  "mcpServers": {
    "scrapingant": {
      "command": "npx",
      "args": ["-y", "@pipeworx/mcp-scrapingant"]
    }
  }
}

または、直接実行して起動を確認します。

npx -y @pipeworx/mcp-scrapingant

stdin/stdout 経由で MCP を使用し、initialize／tools/list／tools/call に応答します。対象はこのパックのツールのみで、上記のゲートウェイ接続が追加する共通メタツールは含まれません。同じソース、同じツールで、ask_pipeworx による振り分けはありません。

ask_pipeworx の使用

ツールを直接呼び出す代わりに、平易な英語で質問できます。上記のパックエンドポイントでも、フルゲートウェイでも利用できます。

ask_pipeworx({ question: "your question about Scrapingant data" })

ゲートウェイが適切なツールを選び、引数を自動的に設定します。

詳細

• ドキュメントとガイド
• pipeworx.io

ライセンス

MIT