mcpField
F
fetch-url

fetch-url

github.com/dcjanus生产力2538 次安装1 天前更新
代码仓库

关于 fetch-url

fetch-url 是一个通过命令行抓取网页内容的技能，适用于 GitHub CLI 无法获取目标页面时的回退处理。它可输出多种格式，并能选择 Markdown 获取策略或使用本地 Playwright 浏览器。

主要功能

  1. 01抓取 HTTP 和 HTTPS 页面
  2. 02支持多种输出格式
  3. 03提供四种 Markdown 获取策略
  4. 04可指定导航超时和浏览器路径
  5. 05支持写入文件或标准输出

适用场景

  1. 01抓取 GitHub CLI 无法读取的页面
  2. 02提取网页内容并保存为 Markdown
  3. 03使用 Playwright 获取渲染后的页面
  4. 04将页面转换为 JSON、CSV 或 HTML

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/dcjanus/prompts --skill fetch-url

安装后在 Claude Code 中输入/fetch-url确认已加载。

附带文件scripts/fetch_url.py

README 原文English

来自项目 README

README 暂无中文译文，以下为英文原文；中文介绍见上方。

工具选择

  • GitHub repo、issue、PR、comment、release、workflow 等资源 URL 优先使用 github-cli。
  • 如果 gh 或 GitHub API 能取得任务所需内容，不要同时调用 fetch-url。
  • 仅当 github-cli 无法取得所需页面内容，或目标并非其支持的 GitHub 资源时，才使用本 skill 回退。

URL 仅支持 http / https。

默认自动探测本地 Chromium 系浏览器路径；未探测到时需安装 Playwright 浏览器：

uv run playwright install chromium

参数：

  • --output：将输出写入文件（默认 stdout）。
  • --timeout-ms：Playwright 导航超时（毫秒，默认 60000）。
  • --browser-path：指定本地 Chromium 系浏览器路径（默认自动探测）。
  • --output-format：输出格式（默认 markdown），支持 csv、html、json、markdown、raw-html、txt、xml、xmltei；raw-html 直接输出渲染后的 HTML（不经 trafilatura）。
  • --fetch-strategy：仅 markdown 可用，支持 auto、agent、jina、browser。默认 auto。

--fetch-strategy 常用值：

  • auto：默认选择。
  • agent：优先用原站 Markdown 协商。
  • jina：优先用 Jina Reader。
  • browser：直接用本地 Playwright。

环境变量：

  • 可设置 JINA_API_KEY 提升 Jina Reader 限流：JINA_API_KEY=your-token ./scripts/fetch_url.py ...

示例：

./scripts/fetch_url.py https://example.com --output ./page.md --timeout-ms 60000
./scripts/fetch_url.py https://example.com --fetch-strategy jina
JINA_API_KEY=your-token ./scripts/fetch_url.py https://example.com --fetch-strategy jina
./scripts/fetch_url.py https://example.com --fetch-strategy browser
./scripts/fetch_url.py https://x.com/jack/status/20 --output-format markdown
./scripts/fetch_url.py https://x.com/jack/status/20 --output-format markdown --fetch-strategy browser

Reference：scripts/fetch_url.py

评论

支持 Markdown