fetch-url

获取 URL

获取单个 URL，并将其内容转换为干净的 Markdown。此操作不会向文档索引添加任何内容；它是一次性读取操作。

适用场景

• 需要读取单个网页，并将其内容转换为 Markdown。
• 想在决定是否将文档页面编入索引之前先检查它。
• 需要获取 URL 的原始文本以进行摘要或分析。

如果需要将内容编入索引以便反复搜索，请改用 docs-manage 技能的 scrape 命令。

命令

npx @arabold/docs-mcp-server@latest fetch-url <url> [options]

标志	默认值	描述
--follow-redirects	true	跟随 HTTP 重定向
--no-follow-redirects		禁止跟随重定向
--scrape-mode auto|fetch|playwright	auto	HTML 处理策略
--header "Name: Value"		自定义 HTTP 标头（可重复指定）
--quiet		禁止显示非错误诊断信息
--verbose		启用调试日志

抓取模式

模式	适用场景
auto	默认模式。先尝试简单的 HTTP 获取；如果页面由 JavaScript 渲染，则回退到 Playwright。
fetch	强制使用普通 HTTP 获取。速度最快，但无法获取由 JavaScript 渲染的内容。
playwright	强制使用无头浏览器。适用于 SPA 或需要 JavaScript 才能渲染的页面。

示例

# Fetch a documentation page
npx @arabold/docs-mcp-server@latest fetch-url https://react.dev/reference/react/useEffect

# Fetch with custom auth header
npx @arabold/docs-mcp-server@latest fetch-url https://docs.internal.com/api \
  --header "Authorization: Bearer tok_xxx"

# Force Playwright for a JS-heavy page
npx @arabold/docs-mcp-server@latest fetch-url https://some-spa.dev/docs --scrape-mode playwright

# Disable redirect following
npx @arabold/docs-mcp-server@latest fetch-url https://example.com/old-page --no-follow-redirects

输出

该命令会将转换后的 Markdown 文本直接写入 stdout。虽然支持全局 --output 标志，但它不会产生任何效果，因为结果已经是纯文本，而非结构化数据。

诊断信息和错误会输出到 stderr，并且在非交互式会话中默认隐藏。使用 --verbose（或设置 LOG_LEVEL=INFO）可重新启用这些信息。使用 --quiet 可在任何会话类型下禁止显示所有非错误诊断信息。

提示

• 如果要保存输出，请将其通过管道写入文件： npx @arabold/docs-mcp-server@latest fetch-url <url> > page.md
• 可与搜索结合使用：search 返回相关 URL 后，抓取页面以读取其完整内容。
• 对于需要身份验证的页面，可使用 --header 传递 Cookie 或令牌。