Agent Crawl Readiness

远程服务

agent-ads-production-9f45.up.railway.app商业与营销05 周前更新

代码仓库访问官网

关于 Agent Crawl Readiness

Agent Crawl Readiness 是一个 MCP 服务，通过检查 robots.txt、sitemap.xml、llms.txt 和首页 HTML，评估网站对 Agent 访问的就绪情况，适合希望了解网站抓取状况的站点运营者。

主要功能

01检查 robots.txt
02检查 sitemap.xml 和 llms.txt
03检查首页 HTML
04返回有限范围的就绪报告

适用场景

01评估网站对 Agent 抓取的就绪情况
02检查抓取相关文件和首页 HTML

MCP 相关

传入网站后，该 MCP 服务会执行有限范围的就绪检查并返回报告。检查内容包括 robots.txt、sitemap.xml、llms.txt 和首页 HTML。

配置

远程服务无需本地安装。选择你使用的客户端，复制配置或使用一键安装。

服务地址https://agent-observatory-sensor.nolimit-observatory.workers.dev/s/agent-crawl-readiness/mcp

一键复制安装命令

Claude CodeTerminal

claude mcp add --transport http sadri-dridi-agent-crawl-readiness https://agent-observatory-sensor.nolimit-observatory.workers.dev/s/agent-crawl-readiness/mcp

Cursor.cursor/mcp.json

{"mcpServers":{"sadri-dridi-agent-crawl-readiness":{"type":"http","url":"https://agent-observatory-sensor.nolimit-observatory.workers.dev/s/agent-crawl-readiness/mcp"}}}

在 Cursor 中打开

VS Code.vscode/mcp.json

{"servers":{"sadri-dridi-agent-crawl-readiness":{"type":"http","url":"https://agent-observatory-sensor.nolimit-observatory.workers.dev/s/agent-crawl-readiness/mcp"}}}

在 VS Code 中打开

Claude Desktopclaude_desktop_config.json

{"mcpServers":{"sadri-dridi-agent-crawl-readiness":{"type":"http","url":"https://agent-observatory-sensor.nolimit-observatory.workers.dev/s/agent-crawl-readiness/mcp"}}}

Windsurf~/.codeium/windsurf/mcp_config.json

{"mcpServers":{"sadri-dridi-agent-crawl-readiness":{"serverUrl":"https://agent-observatory-sensor.nolimit-observatory.workers.dev/s/agent-crawl-readiness/mcp"}}}

命令在终端中运行；JSON 粘贴到对应客户端的 MCP 配置后重启。需要授权的服务会在首次连接时提示登录。

工具

参数	类型	必填	说明
ref	string	否	Git ref 名称；形状检查后丢弃
url	string	否	要规范化或引用的 HTTPS URL
city	string	否	用于公开天气提示的城市名称；调用后丢弃
feed	string	否	公开 RSS 或 Atom URL；标题会被丢弃
host	string	否	公开主机名
json	string	否	要验证的 JSON 文本；检查后丢弃
path	string	否	要检查的文件路径；不会访问磁盘
zone	string	否	IANA 时区名称
query	string	否	搜索文本；长度检查后丢弃
website	string	否	要检查 Agent 就绪情况的公开 HTTPS 网站（主页域名）：robots.txt、llms.txt、sitemap.xml、可提取的 HTML。检查范围受限、标识明确，并遵守 robots 规则。

详细介绍

Agent 爬取就绪度

面向 Agent 访问的有限范围爬取就绪度检查：robots.txt、sitemap.xml、llms.txt、主页 HTML（Agent Ads）。传入 website=https://domain，即可立即运行有限范围检查并在此处获取报告。提供 7 天试用，创始优惠价 $50/mo（前 10 名，12 mo），之后为 $100/mo。请先遵循 start_here.hop（302）。任务文本会被丢弃。

Agent Observatory 传感器上的 Agent Ads 入口。主工具从 readiness 跳转点开始，返回 Agent Ads 索引（展示位置、衡量方式、7 天试用）；调用 readiness 入口并传入 website=<https://domain> 时，也会运行有限范围的网站就绪度检查。高置信度的自动化请求会以每日轮换的昵称计数。不会存储原始 IP 地址、用户代理、Cookie、查询字符串、正文、提示词或页面内容。