关于 llms.txt Checker - AI Readiness Audit
llms.txt Checker 是用于审查网站 AI 爬虫适配情况的按次付费 MCP 工具。它检查 llms.txt 文件、robots.txt 中的爬虫规则和站点地图,并给出 0–100 分及待修复问题清单。
主要功能
- 01检查 llms.txt 和 llms-full.txt
- 02审查 robots.txt 中的 AI 爬虫规则
- 03检查 sitemap.xml
- 04返回 0–100 的适配评分
- 05列出需要修复的问题
适用场景
- 01批量审查多个网站的 AI 爬虫访问情况
- 02找出缺失文件或受限的爬虫规则
- 03依据适配评分确定网站修改优先级
MCP 相关
通过 Apify 托管的 MCP 服务提供网站审查工具。使用量按事件计费,并记入关联的 Apify 账户。
配置
远程服务无需本地安装。选择你使用的客户端,复制配置或使用一键安装。
https://mcp.apify.com?tools=apifmcpfactory/llms-txt-checkerclaude mcp add --transport http apifymcpfactory-droid-llms-txt-checker https://mcp.apify.com?tools=apifmcpfactory/llms-txt-checker{"mcpServers":{"apifymcpfactory-droid-llms-txt-checker":{"type":"http","url":"https://mcp.apify.com?tools=apifmcpfactory/llms-txt-checker"}}}在 Cursor 中打开{"servers":{"apifymcpfactory-droid-llms-txt-checker":{"type":"http","url":"https://mcp.apify.com?tools=apifmcpfactory/llms-txt-checker"}}}在 VS Code 中打开{"mcpServers":{"apifymcpfactory-droid-llms-txt-checker":{"type":"http","url":"https://mcp.apify.com?tools=apifmcpfactory/llms-txt-checker"}}}{"mcpServers":{"apifymcpfactory-droid-llms-txt-checker":{"serverUrl":"https://mcp.apify.com?tools=apifmcpfactory/llms-txt-checker"}}}命令在终端中运行;JSON 粘贴到对应客户端的 MCP 配置后重启。需要授权的服务会在首次连接时提示登录。
https://mcp.apify.com?tools=apifmcpfactory/llms-txt-checker需要授权工具
详细介绍
MCP Factory:面向 AI Agent 的按次付费 MCP 工具
MCP Factory 构建小巧、可靠、按次付费的工具,供 AI Agent 通过 Model Context Protocol (MCP) 调用。每个工具都作为 Apify Actor 运行,并通过 Apify 托管的 MCP 服务提供——无需安装、无需基础设施、无需订阅。你的 Agent 可直接调用工具;费用按透明的固定单条结果价格计入你的 Apify 账户。
工具
🔍 技术栈检测器
了解任意网站使用了哪些技术。扫描一组 URL,并识别每个网站背后的技术——CMS、电商平台、Web 框架、分析工具、CDN、Web 服务器等;检测使用的是开源 webappanalyzer 指纹数据集(涵盖 109 个类别、7,500 多种技术)。这是快速、实惠的 Wappalyzer / BuiltWith 替代方案,费用约为 每 1,000 个网站 5 美元。
- MCP 服务 URL:
https://mcp.apify.com?tools=apifmcpfactory/tech-stack-detector - Apify Store: apify.com/apifmcpfactory/tech-stack-detector
- 试用示例任务: 使用示例输入运行
- 详情: tech-stack-detector/
🧾 欧盟 VAT 验证器
批量验证欧盟 VAT 号码,并与欧盟委员会官方 VAT 验证服务 VIES 核对;每次检查都会返回官方的查询编号,作为税务稽查的审计证据。支持安全批量处理、自动重试,并能兼容格式混乱的输入;价格固定为每 1,000 次验证 5 美元。
- MCP 服务 URL:
https://mcp.apify.com?tools=apifmcpfactory/eu-vat-validator - Apify Store: apify.com/apifmcpfactory/eu-vat-validator
- 试用示例任务: 使用示例输入运行
- 详情: eu-vat-validator/
🤖 llms.txt 检查器
一次性为任意网站完成全面的 AI 就绪度审计:检查 llms.txt、llms-full.txt、robots.txt 中的 AI 爬虫策略(GPTBot、ClaudeBot、PerplexityBot、Google-Extended、CCBot、Bytespider)以及 sitemap.xml,随后返回 0–100 的 AI 就绪度评分,并用通俗易懂的语言列出所有需要修复的具体问题。每 1,000 个网站约 5 美元。
- MCP 服务 URL:
https://mcp.apify.com?tools=apifmcpfactory/llms-txt-checker - Apify Store: apify.com/apifmcpfactory/llms-txt-checker
- 试用示例任务: 使用示例输入运行
- 详情: llms-txt-checker/
一次连接全部三个工具
一个 MCP 服务 URL 即可提供任意组合的工具。若要让你的 Agent 使用完整的 MCP Factory 工具集:
https://mcp.apify.com?tools=apifmcpfactory/tech-stack-detector,apifmcpfactory/eu-vat-validator,apifmcpfactory/llms-txt-checker
Claude Desktop(claude_desktop_config.json):
{
"mcpServers": {
"mcp-factory": {
"command": "npx",
"args": [
"mcp-remote",
"https://mcp.apify.com?tools=apifmcpfactory/tech-stack-detector,apifmcpfactory/eu-vat-validator,apifmcpfactory/llms-txt-checker",
"--header",
"Authorization: Bearer YOUR_APIFY_TOKEN"
]
}
}
}
Cursor(.cursor/mcp.json):
{
"mcpServers": {
"mcp-factory": {
"url": "https://mcp.apify.com?tools=apifmcpfactory/tech-stack-detector,apifmcpfactory/eu-vat-validator,apifmcpfactory/llms-txt-checker",
"headers": {
"Authorization": "Bearer YOUR_APIFY_TOKEN"
}
}
}
}
将 YOUR_APIFY_TOKEN 替换为你从 Apify Console 获取的 API 令牌。新的 Apify 账户每月都包含免费使用额度,因此你可以先试用所有工具,再决定是否付费。
价格说明
所有工具都按事件付费:每次运行收取少量固定费用,每条结果另收固定费用。没有订阅、没有套餐等级、没有最低消费。费用计入 Agent 所使用令牌所属的 Apify 账户——你可以在 Apify Console 中查看每次运行、每条结果和每笔费用。
关于
MCP Factory 以 apifmcpfactory 的名义在 Apify 平台发布。每个工具都遵循相同的原则:专注做好一件事,安全处理批量任务(始终为每条输入生成一行输出),价格透明,输出可供 AI Agent 直接使用,无需后处理。
评论
一个开放协议,规定了 AI 应用如何以统一方式连接外部工具与数据源。客户端负责与模型对话,MCP 服务负责提供工具、资源和提示模板,两者通过标准消息通信,同一个服务可以被不同客户端复用。