mcpField
W
Web Scraping API

Web Scraping API

ローカル
github.com/zeeb0ttブラウザ自動化274 週間前に更新

Web Scraping API について

Web Scraping API は、ウェブデータ取得を自動化する開発者向けに、スクレイピング用エンドポイントを AI エージェントのワークフローへ接続します。ページ取得、リンク抽出、ページ送り、検索に対応します。

主な機能

  1. 01スクレイピング用エンドポイントの呼び出し
  2. 02ページ内リンクの抽出
  3. 03次のページの取得
  4. 04ウェブデータの検索

活用シーン

  1. 01ページから物件情報を取得
  2. 02新着物件をページ送りで収集
  3. 03AI エージェントのワークフローでウェブデータ取得を自動化

MCP 対応

MCP サーバー設定を提供し、MCP クライアントからスクレイピング API に接続して /scrape、/links、/next、/search を呼び出せます。

設定

ローカルサーバーの設定はどのクライアントでも共通です。コピーしてクライアントの MCP 設定ファイルに貼り付けてください。

mcp.json · 共通設定
{
"mcpServers": {
"web-scraping-api": {
"command": "npx",
"args": [
"-y",
"mcp-remote"
],
"env": {
"AUTH_HEADER": "<AUTH_HEADER>"
}
}
}
}
起動コマンドnpx -y mcp-remote
設定が必要な環境変数
AUTH_HEADERシークレット

ローカルサーバーにはマシン上の実行環境(Node.js 18 以上など)が必要です。設定ファイルの場所はクライアントごとに異なります。

パッケージ
npmmcp-remote

ツール

4

掲載時のツール一覧 · 3 週間前に更新

パラメーター型必須説明
urlstringはい
fieldsobjectはい

詳細

🚀 新しい MCP サーバーをリリースしました!

AI エージェントを開発または使用している場合、当社のウェブスクレイピング API を自律型ワークフローに直接組み込めるようになりました。以下を MCP 設定に追加してください。

{
  "mcpServers": {
    "web-scraping-api-by-instantapi-ai": {
      "command": "npx",
      "args": [
        "-y",
        "mcp-remote",
        "https://web-scraping-api-by-instantapi-ai.help-052.workers.dev/sse",
        "--header",
        "Authorization:${AUTH_HEADER}"
      ],
      "env": {
        "AUTH_HEADER": "Bearer <YOUR_API_KEY>"
      }
    }
  }
}

🔐 <YOUR_API_KEY> を InstantAPI.ai の API キーに置き換えてください。こちらから独自の API キーに登録できます:https://web.instantapi.ai/#pricing-03-254921

接続すると、AI エージェントは当社のスクレイピングエンドポイント(/scrape、/links、/next、/search)を自動的に呼び出して、HTML セレクターや手動のロジックを必要とせずに、複雑なウェブデータのタスクを完了できます。

🧠 ユーザーによる実際のタスクの例:

Go to https://www.domain.com.au/sale/bowral-nsw-2576/?bedrooms=1-any&bathrooms=1-any&excludeunderoffer=1&establishedtype=established&sort=dateupdated-desc
Extract each property link.
For each, get the full physical address and how many days since it was listed. If not known, assume 0 (today).
Keep paginating until no properties are listed in the last 7 days.
Return all matching addresses.

✅ エージェントはタスクを自律的に完了しました。コードを一切書かずに、住宅ローンブローカー向けの新規見込み客をスクレイピングしました。

AI ワークフローを構築している場合、これによって糊付けコードやエッジケースへの対応を大幅に減らせます。エージェントに目標を与えて、データを取得させるだけです。

コメント

MCP は初めてですか?

プロトコルの概要から最初のサーバーの導入まで、よくある疑問にまとめて答えます。

AI アプリケーションが外部のツールやデータソースに統一的な方法で接続するためのオープンなプロトコルです。クライアントはモデルとの対話を担い、MCP サーバーはツール・リソース・プロンプトテンプレートを提供します。標準メッセージでやり取りするため、1 つのサーバーを複数のクライアントで再利用できます。