crawlbit

CrawlBit MCP

四款免费工具，只回答一个问题：AI 引擎能否找到、读取并识别一个网站？

无需账户。无需 API 密钥。无需注册。这里的工具不会运行大模型，因此不会让你或我们花费任何费用。

"Can ChatGPT read stripe.com?"
"Why does AI never mention my store?"
"Where is my brand missing outside my own site?"

用自然语言提问。你的 AI 客户端会选择合适的工具。

---

安装

需要 Node.js 18+。

Claude Code

claude mcp add crawlbit -- npx -y crawlbit-mcp

Claude Desktop

添加到 claude_desktop_config.json：

{
  "mcpServers": {
    "crawlbit": {
      "command": "npx",
      "args": ["-y", "crawlbit-mcp"]
    }
  }
}

Cursor

添加到 .cursor/mcp.json：

{
  "mcpServers": {
    "crawlbit": {
      "command": "npx",
      "args": ["-y", "crawlbit-mcp"]
    }
  }
}

重启客户端，即可看到四款工具。

---

四款工具

工具	回答的问题
crawlbit_crawler_watch	GPTBot、OAI-SearchBot、ClaudeBot、PerplexityBot 和 Google-Extended 能读取这个网站吗？
crawlbit_entity_check	AI 能否将这个品牌识别为清晰的实体？
crawlbit_offpage_gaps	这个品牌的网站之外还有哪些缺失？
crawlbit_shopping	AI 购物 Agent 能否理解并推荐这些产品？

试试这些

Check whether AI crawlers can read example.com
Does example.com read as a clear brand entity to AI?
Where is example.com missing off-page, and which gap should we close first?
Compare example.com and competitor.com on AI crawler access

这些工具可以组合使用。一个实用的顺序是：先检查爬虫访问权限（爬虫被阻止，其他检查就都没有意义），然后检查实体，最后检查站外缺失。

---

本工具不做什么

坦诚说明，因为夸大自身能力的 SEO 工具还不如没有。

• 它不会测试 AI 是否真的引用某个品牌。 这需要针对真实买家问题运行 ChatGPT、Perplexity 和 Claude，阅读答案，并报告哪些品牌被点名而非你的品牌。这需要为每次运行支付实际费用，不属于这项免费服务。这四款工具衡量的是促成引用的条件，这是一个范围更小的说法。
• crawler_watch 只读取 robots.txt。 它无法检测 CDN、防火墙或速率限制层实施的拦截。网站在这里可能检查通过，但实际上仍会拒绝爬虫。
• entity_check 读取网站自行发布的内容。 它无法说明该品牌在网络其他地方的声誉。
• shopping 检查已发布的结构化数据。 它无法查看私下提交给平台的商家 Feed。

如果某个网站在这四项检查中都表现良好，却仍未被引用，答案几乎总是相同的，而且这不是技术问题：提及它的第三方页面太少。 这些工具会如实告诉你，而不会兜售根本不存在的解决方案。

---

为什么只有四款工具

CrawlBit 还会运行完整的技术审计并生成 llms.txt。这两项功能都使用大模型，因此每次运行都要花钱，这里不会提供。

这是有意划定的界限，而非诱饵。免费工具的账单会随着人气增长，一旦成功就会被限流、降级或撤下，而为此付出代价的正是安装它的人。此服务中的所有内容都无需运行成本，因此以后也不必收回。审计和 llms.txt 生成器位于 crawlbit.app，欢迎使用。

---

速率限制

API 会按 IP 限制请求速率。正常的对话使用量远不会触及上限，而且服务运行在你的机器上，因此额度由你独享，而不是与他人共享。如果你确实触及限制，看到的会是一句简单提示，而不是一堆堆栈跟踪信息。

---

配置

变量	默认值	用途
CRAWLBIT_BASE_URL	https://www.crawlbit.app	将服务指向其他实例

---

隐私

服务在本地运行，不存储任何内容。离开你设备的唯一数据是你要检查的网址，该网址会发送到 CrawlBit API 进行分析。无需账户，因此没有任何信息会将请求关联到个人。

---

关于

由 CrawlBit 构建，用于衡量 AI 可见度并开展赢得引用所需的站外工作。这里的免费工具负责衡量；付费服务则负责另一半工作。使用这些工具不要求你了解付费服务。

采用 MIT 许可。欢迎提交问题和拉取请求。