Web Scraper & Crawler for RAG (Markdown) について
Web Scraper & Crawler for RAGは、AIエージェント向けのホスト型MCPサーバーです。ページやサイト全体をMarkdownまたはJSONに整形し、サイトマップや指定フィールドも取得します。
主な機能
- 01ページとサイト全体のクロール
- 02整形済みMarkdownまたはJSON出力
- 03サイトマップの生成
- 04自然文で指定するフィールド抽出
- 05Streamable HTTP接続
活用シーン
- 01RAG用のウェブサイト情報の準備
- 02サイト全体から指定フィールドを抽出
MCP 対応
Streamable HTTP経由で、ホスト型のスクレイピングツールをMCPクライアントに提供します。接続にはApify APIトークンを使用します。
設定
リモートサーバーはインストール不要です。クライアントを選んで設定をコピーするか、ワンクリックで導入できます。
https://mcp.apify.com/?tools=byteblisk/sitereaderclaude mcp add --transport http byteblisk-sitereader https://mcp.apify.com/?tools=byteblisk/sitereader{"mcpServers":{"byteblisk-sitereader":{"type":"http","url":"https://mcp.apify.com/?tools=byteblisk/sitereader"}}}Cursor で開く{"servers":{"byteblisk-sitereader":{"type":"http","url":"https://mcp.apify.com/?tools=byteblisk/sitereader"}}}VS Code で開く{"mcpServers":{"byteblisk-sitereader":{"type":"http","url":"https://mcp.apify.com/?tools=byteblisk/sitereader"}}}{"mcpServers":{"byteblisk-sitereader":{"serverUrl":"https://mcp.apify.com/?tools=byteblisk/sitereader"}}}コマンドはターミナルで実行し、JSON は各クライアントの MCP 設定に貼り付けて再起動します。認可が必要なサーバーは初回接続時にログインを求めます。
https://mcp.apify.com/?tools=byteblisk/sitereader認証が必要ツール
詳細
byteblisk MCP サーバー
Apify 上で稼働する、AI エージェント向けのホスト型 MCP サーバー 3 つです。インストールは不要です。Apify API トークンを使って Streamable HTTP で接続し、利用した分だけお支払いください。各ツールには料金が記載されており、失敗した呼び出しは無料です。
| サーバー | エージェントが利用できる機能 | ストアページ | |
|---|---|---|---|
| Web Scraper & Crawler for RAG | 任意のページまたはサイト全体を、整形済みの Markdown または JSON に変換します。サイトマップや、平易な言葉で指定できるフィールドにも対応します | apify.com/byteblisk/sitereader | |
| App Store & Google Play Reviews | 両ストアのレビューを統一形式で取得します。実際の引用を含む不満の傾向や、競合との比較にも対応します | apify.com/byteblisk/app-reviews-insights | |
| Google Play Scraper & SERP Rank Checker | Google Play のアプリ、レビュー、検索結果を取得します。Google、Bing、Yandex での上位 100 件の順位を確認できます | apify.com/byteblisk/google-play-search-toolkit |
接続
エンドポイント(Streamable HTTP、ヘッダー Authorization: Bearer <YOUR_APIFY_TOKEN>):
https://byteblisk--sitereader.apify.actor/mcp
https://byteblisk--app-reviews-insights.apify.actor/mcp
https://byteblisk--google-play-search-toolkit.apify.actor/mcp
Claude Desktop、Cursor、または任意の MCP クライアント(mcp.json):
{
"mcpServers": {
"byteblisk-sitereader": {
"url": "https://byteblisk--sitereader.apify.actor/mcp",
"headers": { "Authorization": "Bearer YOUR_APIFY_TOKEN" }
},
"byteblisk-app-reviews": {
"url": "https://byteblisk--app-reviews-insights.apify.actor/mcp",
"headers": { "Authorization": "Bearer YOUR_APIFY_TOKEN" }
},
"byteblisk-google-play-search": {
"url": "https://byteblisk--google-play-search-toolkit.apify.actor/mcp",
"headers": { "Authorization": "Bearer YOUR_APIFY_TOKEN" }
}
}
}
トークンは console.apify.com/settings/integrations で取得できます。料金は各ストアページに記載されています。Apify の無料プランには、試用に使える月次クレジットが含まれています。
サポート
各 Actor のストアページで Issue を作成してください。すべての Issue に回答します。
コメント
AI アプリケーションが外部のツールやデータソースに統一的な方法で接続するためのオープンなプロトコルです。クライアントはモデルとの対話を担い、MCP サーバーはツール・リソース・プロンプトテンプレートを提供します。標準メッセージでやり取りするため、1 つのサーバーを複数のクライアントで再利用できます。