mcpField
W
Web Scraper & Crawler for RAG (Markdown)

Web Scraper & Crawler for RAG (Markdown)

リモート
apify.comブラウザ自動化02 日前に更新
リポジトリ公式サイト

Web Scraper & Crawler for RAG (Markdown) について

Web Scraper & Crawler for RAGは、AIエージェント向けのホスト型MCPサーバーです。ページやサイト全体をMarkdownまたはJSONに整形し、サイトマップや指定フィールドも取得します。

主な機能

  1. 01ページとサイト全体のクロール
  2. 02整形済みMarkdownまたはJSON出力
  3. 03サイトマップの生成
  4. 04自然文で指定するフィールド抽出
  5. 05Streamable HTTP接続

活用シーン

  1. 01RAG用のウェブサイト情報の準備
  2. 02サイト全体から指定フィールドを抽出

MCP 対応

Streamable HTTP経由で、ホスト型のスクレイピングツールをMCPクライアントに提供します。接続にはApify APIトークンを使用します。

設定

リモートサーバーはインストール不要です。クライアントを選んで設定をコピーするか、ワンクリックで導入できます。

エンドポイントhttps://mcp.apify.com/?tools=byteblisk/sitereader
インストールコマンドをコピー
Claude CodeTerminal
Cursor.cursor/mcp.json
VS Code.vscode/mcp.json
Claude Desktopclaude_desktop_config.json
Windsurf~/.codeium/windsurf/mcp_config.json

コマンドはターミナルで実行し、JSON は各クライアントの MCP 設定に貼り付けて再起動します。認可が必要なサーバーは初回接続時にログインを求めます。

すべてのエンドポイント
Streamable HTTPhttps://mcp.apify.com/?tools=byteblisk/sitereader認証が必要

ツール

詳細

byteblisk MCP サーバー

Apify 上で稼働する、AI エージェント向けのホスト型 MCP サーバー 3 つです。インストールは不要です。Apify API トークンを使って Streamable HTTP で接続し、利用した分だけお支払いください。各ツールには料金が記載されており、失敗した呼び出しは無料です。

サーバーエージェントが利用できる機能ストアページ
README の画像Web Scraper & Crawler for RAG任意のページまたはサイト全体を、整形済みの Markdown または JSON に変換します。サイトマップや、平易な言葉で指定できるフィールドにも対応しますapify.com/byteblisk/sitereader
README の画像App Store & Google Play Reviews両ストアのレビューを統一形式で取得します。実際の引用を含む不満の傾向や、競合との比較にも対応しますapify.com/byteblisk/app-reviews-insights
README の画像Google Play Scraper & SERP Rank CheckerGoogle Play のアプリ、レビュー、検索結果を取得します。Google、Bing、Yandex での上位 100 件の順位を確認できますapify.com/byteblisk/google-play-search-toolkit

接続

エンドポイント(Streamable HTTP、ヘッダー Authorization: Bearer <YOUR_APIFY_TOKEN>):

https://byteblisk--sitereader.apify.actor/mcp
https://byteblisk--app-reviews-insights.apify.actor/mcp
https://byteblisk--google-play-search-toolkit.apify.actor/mcp

Claude Desktop、Cursor、または任意の MCP クライアント(mcp.json):

{
  "mcpServers": {
    "byteblisk-sitereader": {
      "url": "https://byteblisk--sitereader.apify.actor/mcp",
      "headers": { "Authorization": "Bearer YOUR_APIFY_TOKEN" }
    },
    "byteblisk-app-reviews": {
      "url": "https://byteblisk--app-reviews-insights.apify.actor/mcp",
      "headers": { "Authorization": "Bearer YOUR_APIFY_TOKEN" }
    },
    "byteblisk-google-play-search": {
      "url": "https://byteblisk--google-play-search-toolkit.apify.actor/mcp",
      "headers": { "Authorization": "Bearer YOUR_APIFY_TOKEN" }
    }
  }
}

トークンは console.apify.com/settings/integrations で取得できます。料金は各ストアページに記載されています。Apify の無料プランには、試用に使える月次クレジットが含まれています。

サポート

各 Actor のストアページで Issue を作成してください。すべての Issue に回答します。

コメント

MCP は初めてですか?

プロトコルの概要から最初のサーバーの導入まで、よくある疑問にまとめて答えます。

AI アプリケーションが外部のツールやデータソースに統一的な方法で接続するためのオープンなプロトコルです。クライアントはモデルとの対話を担い、MCP サーバーはツール・リソース・プロンプトテンプレートを提供します。標準メッセージでやり取りするため、1 つのサーバーを複数のクライアントで再利用できます。