关于 robotstxt-ai
robotstxt-ai 是用于分析和生成 robots.txt 的可视化工具，适合管理网站爬虫权限的站点维护者。它收录多种 AI 爬虫，并通过 MCP 提供检查与生成工具。
主要功能
- 01可视化控制爬虫允许或屏蔽
- 02收录 20 多种 AI 爬虫
- 03分析粘贴或获取的 robots.txt
- 04生成 robots.txt 规则
- 05检查指定爬虫的网站状态
适用场景
- 01查看网站屏蔽了哪些 AI 爬虫
- 02为选定的 AI 爬虫生成规则
- 03检查指定爬虫是否被屏蔽
MCP 相关
MCP 服务提供获取和分析 robots.txt、生成规则、列出已知 AI 爬虫及检查爬虫状态的工具。
配置
本地服务的配置在各客户端中通用，复制后粘贴到客户端的 MCP 配置文件即可。
工具
5收录的工具列表 · 更新于 2 周前
| 参数 | 类型 | 必填 | 说明 |
|---|---|---|---|
| url | string | 是 | 要从中获取 robots.txt 的网站 URL（例如 https://example.com） |
详细介绍
直观管理可抓取您网站的 AI 机器人。
通过简单的界面开关，启用或禁用 GPTBot、ClaudeBot、PerplexityBot 及 20 多种 AI 爬虫。即时分析任意网站的 robots.txt。
功能
- 可视化开关界面 — 通过简单的开关阻止或允许 AI 机器人
- 20 多种 AI 机器人数据库 — GPTBot、ClaudeBot、Google-Extended、CCBot、Bytespider、Diffbot、cohere-ai、Amazonbot、Meta-ExternalAgent 等
- 分析现有 robots.txt — 粘贴或获取任意 robots.txt，查看哪些 AI 机器人被阻止
- 生成 robots.txt — 根据您选择的规则创建完整的 robots.txt
- MCP 服务 — 搭配 Claude Desktop、Cursor 或任何兼容 MCP 的 AI 助手使用
- 检查机器人状态 — 验证特定机器人是否在某个网站上被阻止
MCP 工具
| 工具 | 描述 |
|---|---|
fetch_robots | 从任意 URL 获取并分析 robots.txt |
analyze_robots | 分析粘贴的 robots.txt 内容，查看 AI 机器人是否被阻止 |
generate_robots | 根据指定的被阻止机器人和自定义规则生成 robots.txt |
list_ai_bots | 列出所有已知 AI 机器人及其 user-agent、所属公司和描述 |
check_bot_status | 检查特定机器人是否在指定网站上被阻止 |
安装
Web 应用
git clone https://github.com/sharozdawa/robotstxt-ai.git
cd robotstxt-ai
npm install
npm run dev
在浏览器中打开 http://localhost:3000。
MCP 服务 — Claude Desktop
添加到您的 claude_desktop_config.json：
{
"mcpServers": {
"robotstxt-ai": {
"command": "npx",
"args": ["-y", "robotstxt-ai-mcp"]
}
}
}
MCP 服务 — Cursor
添加到 .cursor/mcp.json：
{
"mcpServers": {
"robotstxt-ai": {
"command": "npx",
"args": ["-y", "robotstxt-ai-mcp"]
}
}
}
已收录的机器人
此服务了解 25 种以上的机器人，包括：
- AI 爬虫：GPTBot、ClaudeBot、Google-Extended、CCBot、Bytespider、Diffbot、cohere-ai、Amazonbot、Meta-ExternalAgent
- AI 搜索：ChatGPT-User、OAI-SearchBot、PerplexityBot、YouBot
- 搜索引擎：Googlebot、Bingbot、YandexBot、Baiduspider、DuckDuckBot
为什么选择 robotstxt.ai，而不是手动编辑
| 功能 | robotstxt.ai | 手动编辑 |
|---|---|---|
| 可视化开关界面 | 是 | 否 |
| 20 多种 AI 机器人数据库 | 是 | 自行调研 |
| 分析现有 robots.txt | 是 | 否 |
| MCP 服务 | 是 | 否 |
| 价格 | 免费 | 免费，但繁琐 |
更多开源 SEO 工具
| 工具 | 描述 |
|---|---|
| awesome-seo-mcp-servers | 精选的 SEO MCP 服务和 Agent 技能列表 |
| indexnow-mcp | 通过 IndexNow 即时为 URL 编入索引 |
| schema-gen | Schema.org JSON-LD 标记生成器 |
| ai-visibility | AI 品牌曝光度追踪工具 |
许可证
MIT
评论
支持 Markdown
一个开放协议，规定了 AI 应用如何以统一方式连接外部工具与数据源。客户端负责与模型对话，MCP 服务负责提供工具、资源和提示模板，两者通过标准消息通信，同一个服务可以被不同客户端复用。