Web Scraper & Crawler for RAG (Markdown)

Name: Web Scraper & Crawler for RAG (Markdown)
Author: ByteBlisk

远程服务

apify.com浏览器自动化02 天前更新

代码仓库访问官网

关于 Web Scraper & Crawler for RAG (Markdown)

Web Scraper & Crawler for RAG 是面向 AI Agent 的托管 MCP 服务，可将单个网页或整个网站整理为 Markdown 或 JSON，并生成站点地图和指定字段。

主要功能

01抓取网页和整个网站
02输出整洁的 Markdown 或 JSON
03生成站点地图
04用自然语言描述提取字段
05通过 Streamable HTTP 连接

适用场景

01整理网站内容用于 RAG
02跨网站提取指定字段

MCP 相关

通过 Streamable HTTP 向 MCP 客户端提供托管抓取工具，连接时需使用 Apify API token。

配置

远程服务无需本地安装。选择你使用的客户端，复制配置或使用一键安装。

服务地址https://mcp.apify.com/?tools=byteblisk/sitereader

一键复制安装命令

Claude CodeTerminalclaude mcp add --transport http byteblisk-sitereader https://mcp.apify.com/?tools=byteblisk/sitereader

Cursor.cursor/mcp.json{"mcpServers":{"byteblisk-sitereader":{"type":"http","url":"https://mcp.apify.com/?tools=byteblisk/sitereader"}}}在 Cursor 中打开

VS Code.vscode/mcp.json{"servers":{"byteblisk-sitereader":{"type":"http","url":"https://mcp.apify.com/?tools=byteblisk/sitereader"}}}在 VS Code 中打开

Claude Desktopclaude_desktop_config.json{"mcpServers":{"byteblisk-sitereader":{"type":"http","url":"https://mcp.apify.com/?tools=byteblisk/sitereader"}}}

Windsurf~/.codeium/windsurf/mcp_config.json{"mcpServers":{"byteblisk-sitereader":{"serverUrl":"https://mcp.apify.com/?tools=byteblisk/sitereader"}}}

命令在终端中运行；JSON 粘贴到对应客户端的 MCP 配置后重启。需要授权的服务会在首次连接时提示登录。

全部服务地址

Streamable HTTPhttps://mcp.apify.com/?tools=byteblisk/sitereader需要授权

工具

详细介绍

byteblisk MCP 服务

为 AI Agent 提供的三款托管 MCP 服务，运行于 Apify。无需安装任何内容：使用 Apify API token 通过 Streamable HTTP 连接，按使用量付费。每个工具都会说明费用，调用失败不收费。

服务	Agent 可获取的内容	Store 页面
适用于 RAG 的网页抓取器和爬虫	将任意网页或整个网站转为干净的 Markdown 或 JSON、站点地图，以及用日常语言描述的字段	apify.com/byteblisk/sitereader
App Store 和 Google Play 评论	以统一格式获取两个商店的评论、附有真实引述的投诉主题，以及竞品对比	apify.com/byteblisk/app-reviews-insights
Google Play 抓取器和 SERP 排名检查器	Google Play 应用、评论和搜索结果，以及在 Google、Bing 和 Yandex 上的前 100 名排名	apify.com/byteblisk/google-play-search-toolkit

连接

端点（Streamable HTTP，标头 Authorization: Bearer <YOUR_APIFY_TOKEN>）：

https://byteblisk--sitereader.apify.actor/mcp
https://byteblisk--app-reviews-insights.apify.actor/mcp
https://byteblisk--google-play-search-toolkit.apify.actor/mcp

Claude Desktop、Cursor 或任何 MCP 客户端（mcp.json）：

{
  "mcpServers": {
    "byteblisk-sitereader": {
      "url": "https://byteblisk--sitereader.apify.actor/mcp",
      "headers": { "Authorization": "Bearer YOUR_APIFY_TOKEN" }
    },
    "byteblisk-app-reviews": {
      "url": "https://byteblisk--app-reviews-insights.apify.actor/mcp",
      "headers": { "Authorization": "Bearer YOUR_APIFY_TOKEN" }
    },
    "byteblisk-google-play-search": {
      "url": "https://byteblisk--google-play-search-toolkit.apify.actor/mcp",
      "headers": { "Authorization": "Bearer YOUR_APIFY_TOKEN" }
    }
  }
}

前往 console.apify.com/settings/integrations 获取 token。价格见各 Store 页面；Apify 免费套餐包含月度额度，可供试用。