webscrape-mcp

WebScrape MCP Server

English · Español

---

English

AI エージェントがウェブを検索し、広告や余計な要素のない、LLM に必要なテキストだけをクリーンな Markdown で抽出できる MCP サーバーです。

v2.0.0 の新機能

新機能：

• JS レンダリング — Playwright（Chromium ヘッドレス）で JavaScript を多用するサイトをレンダリングします。httpx が 403 または空のコンテンツを返した場合は、自動的にフォールバックします
• 構造化データの抽出 — extract_schema=True を指定すると、JSON-LD、Open Graph、Twitter Cards、メタタグ、正規 URL、hreflang リンクを抽出します
• スクリーンショット — 新しい webscrape_screenshot ツールで、ビューポート、全ページモード、PNG／JPEG 形式を設定してページのスクリーンショットを撮影できます
• 複数エンジンによる検索 — DuckDuckGo を優先して使用し、DDGS を利用できない場合は Google と Bing に自動的にフォールバックします
• スマートな切り詰め — 単語の途中ではなく、段落や文の区切りでコンテンツを切り詰めます

改善点：

• キャッシュを強化：有効期間 15 分で 500 件を保持（従来は有効期限なしで 200 件）
• 403、404、429、タイムアウトに対する具体的なメッセージを追加し、エラー処理を改善
• Playwright 用の Chromium 依存関係を Dockerfile に追加

ツール

ツール	説明
webscrape_fetch_url	単一の URL を取得し、クリーンな Markdown を返します。use_readability、js_render、extract_schema に対応し、PDF を自動検出します
webscrape_batch_fetch	最大 5 件の URL を並列で取得します。PDF の自動検出、JS レンダリング、構造化データに対応しています
webscrape_search	ウェブを検索し（DuckDuckGo → Google → Bing の順にフォールバック）、検索結果を Markdown にスクレイピングします
webscrape_screenshot	ヘッドレス Chromium で任意のウェブページのスクリーンショットを撮影します。PNG／JPEG、ビューポートサイズ、全ページの撮影に対応しています

機能

• PDF 対応：.pdf で終わる URL、または application/pdf の content-type を持つ URL を自動検出し、ページごとにテキストを抽出します
• 可読性モード：webscrape_fetch_url に use_readability=True を渡すと、Mozilla Readability を使用して記事をよりきれいに抽出します（ナビゲーション、サイドバー、広告、コメントを削除）
• JS レンダリング：js_render=True を渡すと、Playwright（ヘッドレス Chromium）で JavaScript を多用するサイトをレンダリングします。httpx が 403 または空のコンテンツを返した場合は、自動的にフォールバックします
• 構造化データの抽出：extract_schema=True を渡すと、JSON-LD、Open Graph、Twitter Cards、メタタグ、正規 URL、hreflang リンクを抽出します
• 複数エンジンによる検索：DuckDuckGo を優先して使用し、DDGS を利用できない場合は Google と Bing に自動的にフォールバックします
• スクリーンショット：ビューポート、全ページモード、PNG／JPEG 形式を設定してページのスクリーンショットを撮影できます
• 組み込みキャッシュ：TTL に基づく削除機能を備えた 500 件のキャッシュ（15 分）で、繰り返しアクセスする URL をキャッシュします
• 一括取得：最大 5 件の URL を並列で取得します
• スマートな切り詰め：単語の途中ではなく、段落や文の区切りでコンテンツを切り詰めます

使用方法

オプション 1 — MCPize（推奨）

1. https://mcpize.com/marketplace にアクセスします
2. Web Scrape を検索して Start Free をクリックします
3. API キーが発行されます
4. AI クライアントで設定します：

{
  "mcpServers": {
    "webscrape": {
      "url": "https://webscrape.mcpize.run",
      "headers": {
        "Authorization": "Bearer your-api-key"
      }
    }
  }
}

オプション 2 — Render（開発用）

{
  "mcpServers": {
    "webscrape": {
      "url": "https://webscrape-mcp.onrender.com"
    }
  }
}

オプション 3 — ローカル

git clone https://github.com/carrasquelalex1/webscrape-mcp.git
cd webscrape-mcp
pip install -r requirements.txt
playwright install chromium
python webscrape_mcp.py

公式レジストリ

io.github.carrasquelalex1/webscrape-mcp

依存関係

mcp、httpx、beautifulsoup4、markdownify、pydantic、ddgs、readability-lxml、PyMuPDF、playwright

ライセンス

MIT

---

Español

AI エージェントがウェブを検索し、広告やナビゲーションのない、LLM に必要なテキストだけをクリーンな Markdown で抽出できる MCP サーバーです。

v2.0.0 の新機能

新機能：

• JavaScript レンダリング — Playwright（ヘッドレス Chromium）を使って JavaScript を使用するサイトをレンダリングします。httpx が 403 または空のコンテンツを受け取った場合に自動でフォールバックします
• 構造化データの抽出 — extract_schema=True で JSON-LD、Open Graph、Twitter Cards、メタタグ、正規 URL、hreflang リンクを抽出します
• スクリーンショット — ビューポートの設定、フルページモード、PNG/JPEG 形式に対応した、新しい webscrape_screenshot ツールです
• 複数の検索エンジンに対応 — DuckDuckGo を優先し、DDGS が利用できない場合は Google と Bing に自動でフォールバックします
• スマートな切り詰め — 単語の途中で切るのではなく、段落や文の区切りでコンテンツを切り詰めます

改善点：

• キャッシュを改善：有効期間15分で500件（以前は有効期限なしで200件）
• 403、404、429、タイムアウトに対する、より具体的なエラーメッセージでエラー処理を改善
• Playwright 用の Chromium 依存関係を含むよう Dockerfile を更新

ツール

ツール	説明
webscrape_fetch_url	URL を取得し、クリーンな Markdown に変換します。use_readability、js_render、extract_schema に対応し、PDF を自動検出します
webscrape_batch_fetch	最大5つの URL を並列で取得します。PDF の検出、JavaScript レンダリング、構造化データに対応します
webscrape_search	ウェブを検索し（DuckDuckGo → Google → Bing の順にフォールバック）、検索結果を Markdown に抽出します
webscrape_screenshot	ヘッドレス Chromium で任意のウェブページのスクリーンショットを撮影します。PNG/JPEG、ビューポートサイズ、ページ全体の撮影に対応します

機能

• PDF 対応：.pdf で終わる URL またはコンテンツタイプが application/pdf の URL を自動検出し、ページごとにテキストを抽出します
• Readability モード：webscrape_fetch_url で use_readability=True を指定すると、記事をよりクリーンに抽出します（ナビゲーション、サイドバー、広告、コメントを削除します）
• JavaScript レンダリング：js_render=True を指定すると、Playwright（ヘッドレス Chromium）を使って JavaScript を使用するサイトをレンダリングします。httpx が 403 または空のコンテンツを受け取った場合に自動でフォールバックします
• 構造化データの抽出：extract_schema=True を指定すると、JSON-LD、Open Graph、Twitter Cards、メタタグ、正規 URL、hreflang リンクを抽出します
• 複数の検索エンジンに対応：DuckDuckGo を優先し、DDGS が利用できない場合は Google と Bing に自動でフォールバックします
• スクリーンショット：設定可能なビューポート、フルページモード、PNG/JPEG 形式でページを撮影します
• 統合キャッシュ：繰り返しアクセスする URL 向けに、TTL による有効期限（15分）付きで500件をキャッシュします
• 一括取得：最大5つの URL を並列で取得します
• スマートな切り詰め：単語の途中で切るのではなく、段落や文の区切りでコンテンツを切り詰めます

使い方

オプション1 — MCPize（推奨）

1. https://mcpize.com/marketplace にアクセスします
2. Web Scrape を検索し、Start Free をクリックします
3. API キーを取得します
4. AI クライアントで設定します：

{
  "mcpServers": {
    "webscrape": {
      "url": "https://webscrape.mcpize.run",
      "headers": {
        "Authorization": "Bearer tu-api-key"
      }
    }
  }
}

オプション2 — Render（開発用）

{
  "mcpServers": {
    "webscrape": {
      "url": "https://webscrape-mcp.onrender.com"
    }
  }
}

オプション3 — ローカル

git clone https://github.com/carrasquelalex1/webscrape-mcp.git
cd webscrape-mcp
pip install -r requirements.txt
playwright install chromium
python webscrape_mcp.py

公式レジストリ

io.github.carrasquelalex1/webscrape-mcp

依存関係

mcp、httpx、beautifulsoup4、markdownify、pydantic、ddgs、readability-lxml、PyMuPDF、playwright

ライセンス

MIT