Crawl Readiness

爬取就绪度 MCP 服务

一款用于检查网站 AI 就绪度的 MCP 服务：ChatGPT、Claude、Perplexity、Google AI 和其他 50 多种 AI 爬虫能否访问你的网站？ 然后，它会生成修复方案（llms.txt、AI 爬虫专用 robots.txt、JSON-LD 结构化数据），读取你的 LLM Monitor 结果，并告知页面已发布的信号是否允许用于搜索、问答、训练或 Agent 操作。你可以在 Claude Desktop、Cursor、Cline、Windsurf 和其他 MCP 客户端中使用它。

问 Claude“我的网站能被 AI 读取吗？”，它就会实际检查——针对 50 多种 AI 爬虫（包括 ChatGPT、Claude、Perplexity、Google AI 等）进行实时审计。然后让它修复问题，它就能生成规范的 llms.txt、robots.txt 或 JSON-LD 架构，并直接写入你的项目。

不用再在编辑器和又一个 SEO 工具之间复制粘贴。

---

功能

AI 助手可以调用九种工具：

审计（无需注册）：

• check_ai_readiness — 根据 50 多种 AI 爬虫为网站打分（0–100），并提供按优先级排序的修复清单；不影响分数的额外项会标明这一点
• validate_schema — 审计任意 URL 上的 JSON-LD 结构化数据（20 多种类型及各类型规则）
• validate_robots — 逐行审计 robots.txt
• check_content_parity — 比较人类和 AI 爬虫看到的内容

权限（无需注册）：

• check_permission — 检查某个页面是否允许用于搜索、问答、训练或 Agent 操作。读取 robots.txt、Content-Signal、Content-Usage、RSL 许可证、TDM 保留声明、ai.txt 以及页面自身的 noai 标签，报告服务器在爬虫请求时的处理方式，并返回一份带日期、由 Ed25519 签名的回执。文档见 machinereadiness.com/permission

生成（需要免费 API 密钥）：

• generate_llms_txt — 自动抓取网站并生成格式规范的 llms.txt
• generate_robots_txt — 支持预设策略的 AI 爬虫专用 robots.txt
• generate_schema — 可直接粘贴的 Organization / WebSite / Article JSON-LD

监控（只读，需要免费 API 密钥）：

• get_monitor_trend — 查看 ChatGPT、Claude、Perplexity 和 Google AI 提及你品牌与竞争对手的情况，以及这些数据的逐周变化趋势（读取你的 LLM Monitor 项目；不会触发运行）

---

安装

Claude Desktop，一键安装

从最新版本下载 crawl-readiness-mcp-<version>.mcpb 并双击（或将其拖入 Claude Desktop 窗口）。Claude Desktop 会显示扩展的功能，并询问是否提供可选的 API 密钥。安装包内含服务及其依赖项，无需安装其他内容。

Claude Code，作为插件使用

此仓库也是一个 Claude 插件：根目录下的 .mcp.json 会启动此服务（固定为此版本），而 ai-readiness 技能会告诉 Claude 何时使用哪个工具以及如何解读结果。该插件在 Claude 目录中列出后，即可从那里添加。若想在此之前试用，请克隆仓库，并在加载该仓库的情况下启动 Claude Code：

claude --plugin-dir ./crawl-readiness-mcp

启用插件时，Claude Code 会询问是否提供可选的 API 密钥，并将其保存在安全存储中；插件自身的文件中不会包含该密钥。

Claude Desktop，手动安装

打开配置文件：

• macOS： ~/Library/Application Support/Claude/claude_desktop_config.json
• Windows： %APPDATA%\Claude\claude_desktop_config.json

将以下内容添加到 mcpServers 块中：

{
  "mcpServers": {
    "crawl-readiness": {
      "command": "npx",
      "args": ["-y", "crawl-readiness-mcp"]
    }
  }
}

重启 Claude Desktop。你会在工具面板中看到“crawl-readiness”。

Cursor

打开 Cursor Settings → Features → Model Context Protocol → Add new global MCP server。

{
  "crawl-readiness": {
    "command": "npx",
    "args": ["-y", "crawl-readiness-mcp"]
  }
}

Cline / Windsurf / Continue

配置格式相同——将 crawl-readiness 添加到 MCP 服务列表，并将 npx -y crawl-readiness-mcp 设为命令。

---

解锁生成工具

四个审计工具开箱即用，无需注册。三个生成工具需要 API 密钥，可在 crawlreadiness.com/dashboard 免费获取（免费套餐每月可检查 50 次，无需信用卡）。

获取密钥后，在同一配置中通过环境变量添加：

{
  "mcpServers": {
    "crawl-readiness": {
      "command": "npx",
      "args": ["-y", "crawl-readiness-mcp"],
      "env": {
        "CRAWL_READINESS_API_KEY": "cr_live_xxxxxxxxxxxx"
      }
    }
  }
}

重启客户端。现在即可调用全部九个工具。

---

示例提示词

安装完成后，可在 AI 客户端中尝试以下提示词：

• “我的作品集网站是否便于 AI 读取？网址：yourdomain.com”
• “检查 ChatGPT 能否访问 acme-inc.com”
• “验证 stripe.com 上的 JSON-LD——有没有遗漏？”
• “比较人类看到的内容与 AI 爬虫在 producthunt.com 上看到的内容”
• “为我的网站生成 llms.txt，并保存到 /public/llms.txt”
• “我的网站得分是 68/100——带我逐步修复问题”
• “我可以使用 https://example.com/research 进行训练吗？检查该网站发布了什么。”
• “在我们构建 RAG 索引之前，这些页面中哪些会保留 AI 答案？”

你的 AI 可以自动串联工具——审计、识别问题、修复问题，并将文件写入你的项目，无需你复制粘贴任何内容。

---

配置

环境变量	用途	默认值
CRAWL_READINESS_API_KEY	生成工具和 Monitor 读取功能的免费 API 密钥；取消 check_permission 的每日限额	无
CRAWL_READINESS_API_BASE	覆盖所有工具的 API 基础 URL，包括权限检查（用于测试）	https://www.crawlreadiness.com

---

服务端会向工具返回什么

每个工具都会返回 Crawl Readiness API 的完整 JSON 响应——与 Web 控制面板呈现的数据相同。你的 AI 可以访问：

• check_ai_readiness： 得分、各爬虫的 robots.txt 状态、结构化数据标记、首页信号、按优先级排列的修复列表（标记为 extra: true 的修复是可选的，不计分）
• validate_schema： 各数据块的问题（错误、警告、信息）、建议补充的类型
• validate_robots： 逐行列出的问题、AI 机器人覆盖情况摘要
• check_content_parity： 结论，以及各爬虫的 HTTP 状态、文字重合率百分比、警告
• check_permission： 结论（denied、allowed-under-terms、allowed、unknown）及其原因、读取到的每项信号、服务器收到爬虫请求时的处理方式，以及签名回执
• generate_llms_txt： 文件内容及配套的 robots.txt 片段
• generate_robots_txt： 应用 AI 策略后的合并 robots.txt
• generate_schema： 为每种检测到的架构类型生成的 JSON-LD 脚本
• get_monitor_trend： 各品牌的提及率、声量份额、各提供方细分数据、竞争对手对比、随时间变化的趋势，以及简短的示例回答

---

此工具会发送哪些数据，以及发送到哪里

每个工具都会向 https://www.crawlreadiness.com 发送 HTTPS 请求；check_permission 则会向 https://machinereadiness.com 发送请求（同一服务，位于该标准自己的主机上），不会发送到其他地方。离开你设备的数据包括你询问的网站地址（以及生成工具所需的输入）、你配置的 API 密钥，以及 crawl-readiness-mcp/<version> 用户代理。服务端不会在本地存储任何内容，不会运行其他程序，也不会读取任何文件；将生成的文件写入项目是由你的 AI 客户端执行的，并且需要征得你的同意。该服务自身的数据处理方式见 crawlreadiness.com/privacy。

插件的 .mcp.json 会启动已发布的 npm 软件包，并固定为与仓库相同的版本（npx -y crawl-readiness-mcp@<version>），因此运行的代码就是该标签对应的仓库代码。

---

支持

• 文档： crawlreadiness.com/mcp
• 问题反馈： github.com/Grubbomatic/crawl-readiness-mcp/issues
• 电子邮件： [email protected]

---

关于

Crawl Readiness 是一套 AI-SEO 工具，用于检查 AI 系统能否访问你的网站，并帮助你解决被阻止的问题。此 MCP 服务中的每个生成器工具也都可在网上通过 crawlreadiness.com/tools 使用。MCP 服务只是让你能在 AI 助手中调用这些相同的工具，从而在一段对话中完成“审计 → 修复 → 应用”循环，无需离开编辑器。

发布（维护者）

npm run release 会验证 server.json 并打印发布步骤。最后一步会使用 mcp-publisher CLI，它不属于此代码库：请从 MCP Registry releases 下载，并将其放在 PATH 中或代码库根目录下（该目录中的文件已被 git 忽略）。

许可证

MIT © 2026 Crawl Readiness / Tundrastone