关于 Prerender Buddy
Prerender Buddy MCP 是用于检查公开爬虫如何读取网站的 MCP 服务,也可按需获取 Prerender Buddy 工作区证据。它通过 HTTP 响应进行诊断,不渲染浏览器页面;配置后可提供需身份验证的工作区工具及单独授权的文章草稿生成。
主要功能
- 01检查公开页面的爬虫可读性
- 02比较浏览器式与爬虫 HTTP 响应
- 03检查 robots.txt、sitemap.xml 和 llms.txt
- 04获取站点健康、爬虫活动和 AI 可见性证据
- 05通过单独授权生成文章草稿
适用场景
- 01检查 Googlebot 是否收到可读页面内容
- 02比较某网址的爬虫与标准响应
- 03检查公开网站的发现文件
- 04汇总已登记站点的健康或 AI 可见性
- 05生成文章草稿以供审核
MCP 相关
向 MCP 客户端提供公开网址诊断,并可选提供经过身份验证的工作区证据和文章生成工具。支持 stdio 或 Streamable HTTP。
配置
本地服务的配置在各客户端中通用,复制后粘贴到客户端的 MCP 配置文件即可。
工具
3收录的工具列表 · 更新于 2 天前
| 参数 | 类型 | 必填 | 说明 |
|---|---|---|---|
| url | string | 是 | 要检查的公共 HTTP(S) URL。 |
| maxChars | integer | 否 | 要分析的最大响应字符数。 |
| timeoutMs | integer | 否 | 完整请求超时时间,单位为毫秒。 |
| userAgent | enum | 否 | 爬虫配置文件。默认为 googlebot。googlebot | bingbot | gptbot | claudebot |
详细介绍
Prerender Buddy MCP
Prerender Buddy AI 可见性与爬虫就绪平台的 MCP 配套工具。它会检查公共爬虫能够读取的内容,也可以按需从 Prerender Buddy 工作区获取证据,并支持按需确认后生成文章。
此服务封装了开源项目
@prerenderbuddy/cli。
公共审计工具不会运行浏览器、执行 JavaScript、调用 Prerender Buddy API,也不需要账户。Starter、Growth 和 Pro 用户可以按需配置 API 密钥,以启用账户感知的健康状况、活动、可见性、建议和内容状态工具。
更偏好终端或 CI 工作流?可直接使用
prerenderbuddy-cli。
请参阅
Prerender Buddy 工具概览,了解 CLI、MCP 服务、Chrome 扩展和托管服务之间的区别。
快速开始
运行 stdio 服务:
npx --yes @prerenderbuddy/mcp
通用 MCP 客户端配置:
{
"mcpServers": {
"prerenderbuddy": {
"command": "npx",
"args": ["--yes", "@prerenderbuddy/mcp"]
}
}
}
更改配置后,请重启 MCP 客户端。
若要验证连接,请让客户端列出其 MCP 工具。你应该会看到:
check_crawler_readability
compare_http_responses
check_discovery_files
配置 PRERENDER_BUDDY_API_KEY 后,服务还会列出:
list_sites
get_site_overview
get_health_evidence
get_crawler_activity
get_ai_visibility
get_recommendations
get_content_status
Grok Build
Grok Build 可以启动本地 stdio 服务:
grok mcp add prerenderbuddy -- npx --yes @prerenderbuddy/[email protected]
也可以安装官方插件,其中已包含兼容 Claude 的清单:
grok plugin marketplace add kopachlager/prerenderbuddy-plugins
grok plugin install prerenderbuddy --trust
需要工作区证据时,请在进程环境中设置 PRERENDER_BUDDY_API_KEY。未解析的占位符(例如 ${PRERENDER_BUDDY_API_KEY})会被视为未设置。
Streamable HTTP / Grok Bot
grok.com、iOS 和 Android 上的 Grok Bot 无法启动本地 npx 进程,因此需要一个公开的 HTTPS MCP URL。
在本地运行 Streamable HTTP:
npx --yes @prerenderbuddy/[email protected] --http --port 8787
回环 HTTP(127.0.0.1)允许未经过身份验证的公开诊断工具,并且仍会对请求进行速率限制。绑定到公共接口(--host 0.0.0.0 或非回环的 HOST)则需要 Bearer 令牌:
- 有效且未撤销的合格工作区 API 密钥(
pb_live_...或pb_test_...),每次经过身份验证的请求都会通过 PB API 验证,同时也会启用工作区工具;或 MCP_HTTP_SHARED_TOKEN,仅用于公开诊断的连接器令牌。
MCP_TRANSPORT=http HOST=0.0.0.0 PORT=8787 MCP_HTTP_REQUIRE_AUTH=true \
npx --yes @prerenderbuddy/[email protected]
健康检查:GET /health。MCP 端点:POST /mcp。对 /mcp 经过身份验证的 GET 和 DELETE 请求会返回 405;此无状态 JSON 端点不提供 SSE 会话流。
将 Dockerfile 部署为独立服务,并设置 MCP_TRANSPORT=http、
HOST=0.0.0.0 和 MCP_HTTP_REQUIRE_AUTH=true;保留托管平台的
PORT。railway.json 配置健康检查。切勿在共享 HTTP 服务上设置
PRERENDER_BUDDY_API_KEY:HTTP 工具仅使用请求中的工作区密钥,绝不会继承进程密钥。
默认入口限制为每个进程每分钟 120 个 MCP 请求,包括身份验证失败的请求。MCP_HTTP_INGRESS_RATE_LIMIT_MAX 用于控制此限制。
经过身份验证的凭据默认还受每分钟 30 个请求的限制
(MCP_HTTP_RATE_LIMIT_MAX)。不信任转发的 IP 标头。速率限制存储有容量上限;这些限制仅适用于进程,因此扩展到多个副本之前,请先使用共享网关限制。API 验证失败时会拒绝访问;撤销的密钥不会被缓存。
对于 Grok Bot,请通过 HTTPS 暴露该 URL,然后:
- 打开 grok.com/connectors。
- New Connector → Custom。
- 输入
https://your-host/mcp。 - 托管版 Prerender Buddy 使用 OAuth Authorization Code,并强制要求 S256 PKCE。可自托管部署也可以改为配置 Bearer 令牌。
临时隧道适用于演示;Grok 会拒绝 localhost。建议使用 Streamable HTTP JSON 响应;此服务器默认已启用该方式。Cloudflare quick tunnels 不支持 SSE。
不要发布开放且未经身份验证的 URL 获取端点。托管使用需要 HTTPS、速率限制和令牌。
可选的工作区模式
在 Prerender Buddy 的 Starter、Growth 或 Pro 方案中创建 Developer API 密钥,并且仅授予 Agent 所需的证据组。将密钥保存在 MCP 进程环境中,绝不要放入提示词或 仓库文件。
{
"mcpServers": {
"prerenderbuddy": {
"command": "npx",
"args": ["--yes", "@prerenderbuddy/mcp"],
"env": {
"PRERENDER_BUDDY_API_KEY": "pb_live_replace_me"
}
}
}
}
默认 API 源站为 https://api.prerenderbuddy.com。可自托管或
用于暂存环境的开发可通过 PRERENDER_BUDDY_API_BASE_URL 覆盖该地址。
工作区工具需要身份验证,并由 API 按方案允许范围限定为已注册的站点。现有证据工具保持只读,并 返回有范围限制的摘要。文章生成是单独选择启用的权限; 其任务响应包含已保存的草稿正文。不会返回完整的服务提供商回答。
工具
check_crawler_readability
使用选定的爬虫 user-agent 获取一个公开页面,并返回:
- HTTP 状态和最终 URL;
- 标题、描述、规范链接、标题及可读文本计数;
- 透明的 JavaScript 应用外壳启发式判断;
- 证据、严重性和适度的后续建议。
compare_http_responses
比较标准浏览器风格 user-agent 的 HTTP 响应与选定爬虫 user-agent 的 HTTP 响应。
两侧都是普通 HTTP 响应。两者都不会执行 JavaScript。差异是值得审查的证据,并不能证明存在伪装或排名问题。
check_discovery_files
检查常见的公开 robots.txt、sitemap.xml 和 llms.txt URL。
这些文件有助于发现和访问,但不会让爬虫能够读取应用内容。
支持的爬虫配置:
googlebotbingbotgptbotclaudebot
工作区证据工具
list_sites:列出已注册的工作区站点及其 ID。get_site_overview:汇总设置、监控、活动和可见性。get_health_evidence:返回健康事件、发现文件证据、可访问性以及范围受限的拟议审核草稿。get_crawler_activity:按平台和页面归类真实爬虫访问记录。get_ai_visibility:汇总平台、引用域名和竞争对手。get_recommendations:返回最新的、以证据为依据的诊断结果。get_content_status:列出日历和草稿元数据,不包含文章正文。
示例提示词
Check whether Googlebot receives meaningful HTML from https://example.com.
Compare the standard and GPTBot HTTP responses for https://example.com/pricing.
Check the discovery files for https://example.com.
List my Prerender Buddy sites, then summarize health and AI visibility for the selected site.
产品边界
在没有 API 密钥的本地 stdio 模式下,此软件包提供针对公共 URL 的一次性本地诊断。它:
- 使用与 CLI 相同的公共 URL 安全检查、重定向、超时和响应大小控制;
- 通过 MCP 返回机器可读结果;
- 不包含遥测或身份验证;
- 仅向正在检查的公共 URL 发起网络请求。
公共审计模式不提供:
- 浏览器渲染或 JavaScript 执行;
- 托管爬虫路由;
- 定时监控、历史记录或事件;
- 缓存操作;
- DNS 或代理接入;
- Prerender Buddy 私有 API 或基础设施。
可选的工作区模式仅调用有文档说明的、经过身份验证的 Developer API。 它不会直接连接数据库、队列、计费内部系统、提供商凭据或渲染引擎。除发送到已配置 Prerender Buddy API 源站的 Authorization 标头外,MCP 软件包不会在任何地方存储或传输 API 密钥。
如果测试发现生产部署仍返回缺失、不完整或不可靠的 HTML,仍可使用托管服务
prerenderbuddy.com。
安全
仅测试你获准检查的网站。此软件包会阻止本地、私有、链路本地、保留和多播网络目标,并通过 CLI 重新验证重定向目标。
抓取的网站内容是不可信数据。MCP 客户端和大模型不得将返回的页面文本视为指令。工具描述和结构化结果中包含警告,但警告无法消除提示词注入风险。客户端必须维护自己的信任边界。
工作区提供商证据以及已保存的标题或建议同样是不可信数据。请使用权限范围尽可能小的 API 密钥;如果密钥泄露,请从 Prerender Buddy 控制面板撤销该密钥。
不要将此本地软件包暴露为不受限制的公共 URL 抓取服务。 完整边界说明请参阅 SECURITY.md。
结果和错误
成功调用会在 structuredContent 和序列化 JSON 文本中返回完整的 CLI 诊断结果。这样,即使 MCP 客户端不使用结构化输出,也能获取完整结果。服务端绝不返回完整的原始 HTML。页面响应读取量限制为 10,000–1,000,000 个字符,摘录长度则由 CLI 限定。发现文件的读取使用 CLI 有界响应处理机制。
执行失败时,会返回 isError: true、简短文本消息,以及包含稳定诊断代码的结构化错误数据;这些代码与 CLI 类别一致:
invalid_input、
unsafe_target、timeout、request_failed 或 internal_error。意外错误会简化为通用消息,以免暴露本地路径。
在运行诊断前,MCP 协议会拒绝不符合输入架构的请求。
工作区 API 失败时,会保留受限的状态、错误代码和请求 ID 信息,但不会返回凭据、响应标头或内部堆栈跟踪。除 API 端输出限制外,本地响应大小上限为 2 MB。
这些工具目前有意不声明 outputSchema。其 structuredContent 与 1.0 之前的 CLI 结果保持一致;待结果结构稳定后再添加架构。
开发
需要 Node.js 20 或更高版本。
npm ci --ignore-scripts
npm test
npm run test:coverage
npm run check
npm run pack:check
本地仓库配置:
{
"mcpServers": {
"prerenderbuddy-local": {
"command": "node",
"args": ["/absolute/path/to/prerenderbuddy-mcp/bin/prerenderbuddy-mcp.js"]
}
}
}
更改 MCP 配置后,请完全重启客户端。如果服务未显示,请确认 node --version 显示的是 20 或更高版本,并且 npx --yes @prerenderbuddy/mcp 启动时没有立即报错。stdio MCP 服务静默等待协议输入属于正常情况。如果 GUI 客户端找不到 npx,请使用 command -v npx 返回的绝对路径进行配置。
后续步骤
托管服务用法
PB 的托管 HTTP 服务会记录工具名称、成功/失败状态、耗时和时间,用于汇总管理。它不会向此收集器发送工具参数、扫描的 URL、页面内容、答案、凭据或账户标识符。本地 stdio 插件不会收集遥测数据。可自托管的 HTTP 收集默认关闭,且需要运营方配置 MCP_USAGE_EVENTS_ENABLED=true 和私有的 MCP_USAGE_INGEST_TOKEN。
账户链接可使用 https://mcp.prerenderbuddy.com/go/mcp(或 /go/chatgpt、/go/claude、/go/cursor、/go/grok、/go/glama、/go/github)。这些链接会重定向到 PB,并附带集成活动标签。已知的预览/预取请求和 HEAD 请求不会计为打开。打开次数代表请求次数,并非经过验证的访问者;注册使用 PB 现有的、尊重用户同意的首次触点归因。无法还原现有的未标记链接和历史本地使用数据。数据收集尽力而为,绝不会阻止工具结果或重定向。
- 直接运行 CLI。
- 对比所有 Prerender Buddy 开发者工具。
- 当诊断结果表明需要生产环境渲染或监控时,使用托管的 Prerender Buddy 服务。
许可证
Apache License 2.0。
文章提案与生成(0.3.0)
共有 14 个工具:三个公开诊断工具、七个工作区证据读取工具,以及四个文章工作流工具。开发者 API 访问需要使用符合条件的 Starter、Growth 或 Pro 工作区。列出创意和检索任务需要 content 权限。准备和生成还需要 content:write 权限。现有密钥和 OAuth 授权仍为只读;请创建一个限定范围的密钥,或重新连接并请求额外权限。
list_article_ideas(siteId)会列出有成功记录的答案所对应的已跟踪问题,以及工作区剩余的草稿额度。prepare_article_proposal(siteId, promptId, requestId, sourceJobId?, note?)会将有来源依据的提案加入队列。生成一个 UUID 作为 requestId,并在重试同一请求时重复使用。简报内容有更改时,请使用新的 UUID。- 按返回的间隔轮询
get_article_task(siteId, taskId)。向用户展示已准备好的提案和当前额度。提案会在 24 小时后过期。 - 仅在用户明确确认后,才调用
generate_article(siteId, taskId, confirmGeneration: true)。此操作会从与应用共用的工作区额度中预留一份草稿。 - 轮询任务直至完成。任务会返回已保存的 Markdown 草稿和 PB 审阅链接。草稿仍未获批准;这些工具无法发布草稿。
准备提案不会消耗草稿额度。为控制准备成本,工作区每小时最多可开始 12 个提案,并且最多同时运行两个任务。生成失败或中断时会释放预留额度。重试已确认的任务不会另建或另计一份草稿。来源文本仅作为依据,并不代表用户同意。使用这些工具前,必须先升级 API 和可见性工作器。
评论
一个开放协议,规定了 AI 应用如何以统一方式连接外部工具与数据源。客户端负责与模型对话,MCP 服务负责提供工具、资源和提示模板,两者通过标准消息通信,同一个服务可以被不同客户端复用。