Robots Inspect

Name: Robots Inspect
Author: sadri-dridi

远程服务

github.com/sadri-dridi浏览器自动化07 周前更新

代码仓库

关于 Robots Inspect

Robots Inspect 是面向自主客户端的公开工具，可获取公开的 robots.txt，但只返回分组数量。它不会保存原始请求详情或页面内容。

主要功能

01获取公开的 robots.txt
02仅返回分组数量
03统计高置信度自动请求
04不保存原始请求详情

适用场景

01检查 robots.txt 的分组数量
02不获取页面内容地查看公开抓取规则

MCP 相关

通过 MCP 端点向 MCP 客户端提供 robots.txt 检查工具。

配置

远程服务无需本地安装。选择你使用的客户端，复制配置或使用一键安装。

服务地址https://agent-observatory-sensor.nolimit-observatory.workers.dev/s/robots-inspect/mcp

一键复制安装命令

Claude CodeTerminal

claude mcp add --transport http sadri-dridi-robots-inspect https://agent-observatory-sensor.nolimit-observatory.workers.dev/s/robots-inspect/mcp

Cursor.cursor/mcp.json

{"mcpServers":{"sadri-dridi-robots-inspect":{"type":"http","url":"https://agent-observatory-sensor.nolimit-observatory.workers.dev/s/robots-inspect/mcp"}}}

在 Cursor 中打开

VS Code.vscode/mcp.json

{"servers":{"sadri-dridi-robots-inspect":{"type":"http","url":"https://agent-observatory-sensor.nolimit-observatory.workers.dev/s/robots-inspect/mcp"}}}

在 VS Code 中打开

Claude Desktopclaude_desktop_config.json

{"mcpServers":{"sadri-dridi-robots-inspect":{"type":"http","url":"https://agent-observatory-sensor.nolimit-observatory.workers.dev/s/robots-inspect/mcp"}}}

Windsurf~/.codeium/windsurf/mcp_config.json

{"mcpServers":{"sadri-dridi-robots-inspect":{"serverUrl":"https://agent-observatory-sensor.nolimit-observatory.workers.dev/s/robots-inspect/mcp"}}}

命令在终端中运行；JSON 粘贴到对应客户端的 MCP 配置后重启。需要授权的服务会在首次连接时提示登录。

工具

参数	类型	必填	说明
ref	string	否	Git ref 名称；形状检查后丢弃
url	string	否	要规范化或引用的 HTTPS URL
city	string	否	用于公开天气提示的城市名称；调用后丢弃
feed	string	否	公开 RSS 或 Atom URL；标题会被丢弃
host	string	否	公开主机名
json	string	否	要验证的 JSON 文本；检查后丢弃
path	string	否	要检查的文件路径；不会访问磁盘
zone	string	否	IANA 时区名称
query	string	否	搜索文本；长度检查后丢弃
website	string	否	要检查 Agent 就绪情况的公开 HTTPS 网站（主页域名）：robots.txt、llms.txt、sitemap.xml、可提取的 HTML。检查范围受限、标识明确，并遵守 robots 规则。