Web Hygiene MCP

Web Hygiene MCP

· 官方 MCP 注册表：io.github.Luca-003/web-hygiene-mcp

远程 MCP 服务（Streamable HTTP），为 AI Agent 提供 七种基于实时网页内容作答的工具——绝不使用缓存或模型记忆：

工具	功能
site_overview(site)	robots.txt（声明的站点地图、面向 AI 爬虫的规则、全面禁止访问规则）、llms.txt、站点地图及 URL 数量示例、订阅源
list_site_urls(site_or_sitemap, max_urls, include_regex, exclude_regex)	网站在其站点地图中发布的 URL，含 lastmod（≤ 2,000）
check_url(url)	HTTP 状态、完整重定向链、最终 URL、响应时间、内容类型
check_links(urls | site_or_sitemap, max_urls, problems_only)	批量检查：404、5xx、超时、SSL 错误、重定向链、响应缓慢的页面（≤ 300）
discover_feeds(site)	网站的 RSS / Atom / JSON 订阅源
read_feed(feed_or_site, max_items, include_content)	标准化的订阅源条目：标题、链接、UTC 日期、作者、摘要、附件（≤ 100）
verify_citations(text | urls | citations, check_archive, max_citations)	每个引用 URL 的状态：verified / mismatch / not-found / redirected-home / paywalled / blocked …，真实标题 / 日期 / 作者、引文匹配证据，以及死链的 Internet Archive 副本（≤ 50）

连接

URL:    https://bruco3--web-hygiene-mcp.apify.actor/mcp
Header: Authorization: Bearer <YOUR_APIFY_API_TOKEN>

Claude Desktop / Cursor / 任意 Streamable HTTP 客户端：

{
  "mcpServers": {
    "web-hygiene": {
      "url": "https://bruco3--web-hygiene-mcp.apify.actor/mcp",
      "headers": { "Authorization": "Bearer YOUR_APIFY_API_TOKEN" }
    }
  }
}

免费的 Apify 账户可为你提供 API 令牌和每月 $5 的额度。工具调用按事件计费至你的 Apify 账户：一次 check_url 只需几美分的一小部分；验证一份答案的 10 个来源约需两美分。无需订阅，无需运行任何程序。

试用——三个提示词

1. “检查你刚才给出的答案中的来源：每个链接都存在吗？引文确实出现在页面上吗？” → verify_citations
2. “引用 example.com 的任何内容之前，先看看这个网站发布了什么，以及允许什么。” → site_overview
3. “检查这份 README 中的每个链接，并告诉我哪些链接失效或发生了重定向。” → check_links

Claude Code：提供现成插件，包含两个技能——先运行 /plugin marketplace add Luca-003/web-hygiene-claude-plugin，再运行 /plugin install web-hygiene@luca-003（仓库）。

原因

大模型往往会对从未获取过的链接和来源表现得胸有成竹。这些工具让 Agent 先查看，再断言：验证 URL 是否存在以及它会跳转到哪里；引用网站前检查 robots.txt 和 llms.txt；读取网站实际发布的内容；确认引用页面确实包含所引述的段落。

详情、定价和问题

完整文档、定价表和问题跟踪器：https://apify.com/bruco3/web-hygiene-mcp

适用于整站 / 整份文档任务的相关 Actors：Sitemap URL Extractor · Broken Link Checker · Feed Monitor · Citation & Link Verifier

法律声明

这些工具只会请求网站为自动读取器发布的公开文件（站点地图、订阅源、robots.txt、llms.txt），以及你指定的公开页面，并使用明确的 User-Agent。不收集或存储个人数据。

此仓库包含注册表元数据（server.json）和文档；服务运行在 Apify 上。