web-fetcher

Name: web-fetcher
Author: jiahao-shao1

github.com/jiahao-shao1生产力3958 次安装2 周前更新

关于 web-fetcher

将 URL 获取为简洁 Markdown 的网页抓取技能。它通过 OpenCLI 处理支持的平台，并为其他页面按优先级尝试一系列 Markdown 服务。

复制下面的命令，在终端中运行。

$npx skills add https://github.com/jiahao-shao1/sjh-skills --skill web-fetcher

安装后在 Claude Code 中输入/web-fetcher确认已加载。

除 SKILL.md 外，安装时一起下载的参考资料和脚本。

.gitignore

LICENSE

README.md

README.zh-CN.md

evals/

trigger_eval.json

将任意 URL 抓取为干净的 Markdown。有两种路径：已知平台通过 OpenCLI 处理（使用浏览器登录状态），其他内容则依次尝试一系列免费 Markdown 服务。

已知平台（Twitter/X、zhihu、reddit、weibo、xiaohongshu、bilibili 等）→ 优先使用 OpenCLI。它会使用用户的浏览器登录状态，结果可预测，且不消耗 LLM token。
通用 URL（博客、文档、文章）→ 依次尝试 Jina Reader > defuddle.md > markdown.new > WebFetch。

这些只是优先级建议——跳过明显不合适的策略（例如，不要对普通博客文章尝试 OpenCLI，也不要对有登录墙的 zhihu 页面尝试 Jina）。

URL 模式	命令	备注
`x.com/.../status/<id>`	`opencli twitter thread <id>`	推文串。如果结果只是一个 t.co 链接（文本非常短），该推文可能链接到 X Article；请使用 `opencli twitter article <same-id>` 重试
`x.com/.../article/<id>` 或 `x.com/i/article/<id>`	`opencli twitter article <id>`	X Article 长文
`zhihu.com/question/<id>`	`opencli zhihu question <id>`
`zhuanlan.zhihu.com/p/<id>`	`opencli zhihu download <full-url>`
`reddit.com/r/.../comments/...`	`opencli reddit read <full-url>`
`weibo.com/...`	`opencli weibo search <query>`
`xiaohongshu.com/...`	`opencli xiaohongshu download <id>`
`bilibili.com/video/BV...`	`opencli bilibili download <bvid>`

上表涵盖了高频平台。OpenCLI 支持 80 多个平台。对于未列出的平台：

# See all supported platforms
opencli --help

# See subcommands for a specific platform
opencli <platform> --help

对于与已知平台不匹配的 URL，请按以下顺序尝试：

工具	使用方法	优点	缺点
Jina Reader	`curl -s -H "Accept: text/markdown" "https://r.jina.ai/<url>"`	Markdown 质量最佳，支持 JS	免费额度为 20 req/min
defuddle.md	`curl -s "https://defuddle.md/<url>"`	质量不错，由 Obsidian 创作者开发	限制未公开
markdown.new	`curl -s "https://markdown.new/<url>"`	浏览器渲染回退方案	每天 500 req
WebFetch	内置工具，无需 curl	无需设置	不支持 JS 渲染，处理复杂页面效果不佳

如果尚未安装 opencli：

只需设置一次。安装后，已知平台的 URL 会自动使用浏览器登录状态。

支持 Markdown