关于 WhatsUpDoc (downmarked)
WhatsUpDoc (downmarked) 是一个命令行工具,可抓取网页开发文档并将其转换为本地 Markdown 文件,适合整理和离线保存文档的开发者。它支持 CSS 选择器筛选、递归抓取和按标题拆分文件。
主要功能
- 01抓取网页并转换为 Markdown
- 02指定本地输出路径
- 03使用 CSS 选择器筛选内容
- 04递归抓取链接页面
- 05按标题拆分文档
适用场景
- 01保存指定网页的开发文档
- 02只提取页面主体内容
- 03递归收集多层链接文档
- 04将长文档按标题拆分
MCP 相关
项目说明 MCP 用于规范命令行工具与文档服务之间的通信。
配置
本地服务的配置在各客户端中通用,复制后粘贴到客户端的 MCP 配置文件即可。
工具
还没有获取到工具列表
本地服务需要在你的电脑上运行后才能读取工具,维护者暂未提供工具列表。
详细介绍
WhatsUpDoc (downmarked)
一款命令行工具,可使用模型上下文协议(MCP)获取开发者文档并将其保存到本地。
功能
- 从任意网站获取文档并将其转换为 Markdown
- 将文档保存到系统中的任意位置
- 使用 CSS 选择器定位特定内容
- 递归获取链接的文档页面
- 按标题拆分文档,并保存为单独的文件
- 使用模型上下文协议(MCP)实现标准化通信
安装
# Install globally
npm install -g downmarked
# Or use with npx
npx downmarked fetch https://reactjs.org/docs/getting-started.html
用法
基本用法
downmarked fetch <url>
系统会提示你选择输出位置,并将文档保存为 Markdown。
选项
# Fetch documentation with specific options
downmarked fetch https://reactjs.org/docs/getting-started.html \
-o ~/Documents/react-docs.md \
-s "main" \
-r \
-d 2 \
--split
可用选项
| 选项 | 描述 |
|---|---|
-o, --output <path> | 输出路径(绝对路径或相对路径) |
-s, --selector <selector> | 用于定位特定内容的 CSS 选择器 |
-r, --recursive | 递归获取链接的文档页面 |
-d, --max-depth <number> | 递归获取的最大深度(默认值:3) |
--split | 按标题拆分文档,并保存为单独的文件 |
示例
获取 React 文档
# Save React documentation to a specific location
downmarked fetch https://reactjs.org/docs/getting-started.html -o ~/Documents/react-docs.md
# Target only the main content area
downmarked fetch https://reactjs.org/docs/getting-started.html -s "main"
# Recursively fetch linked pages up to 2 levels deep
downmarked fetch https://reactjs.org/docs/getting-started.html -r -d 2
获取 Python 文档
# Save Python documentation
downmarked fetch https://docs.python.org/3/tutorial/index.html -o python-tutorial.md
工作原理
WhatsUpDoc (downmarked) 使用模型上下文协议(MCP),规范 CLI 与文档服务之间的通信。该工具会:
- 从指定 URL 获取 HTML 内容
- 使用 Cheerio 解析 HTML
- 使用 Turndown 将 HTML 转换为 Markdown
- 将 Markdown 保存到指定位置
参与贡献
欢迎贡献!请随时提交 Pull Request。
- Fork 此仓库
- 创建功能分支(
git checkout -b feature/amazing-feature) - 提交更改(
git commit -m 'Add some amazing feature') - 推送到分支(
git push origin feature/amazing-feature) - 发起 Pull Request
许可证
本项目采用 MIT 许可证,详情请参阅 LICENSE 文件。
致谢
- Model Context Protocol (MCP) 提供通信框架
- Turndown 用于将 HTML 转换为 Markdown
- Cheerio 用于解析 HTML
评论
支持 Markdown
一个开放协议,规定了 AI 应用如何以统一方式连接外部工具与数据源。客户端负责与模型对话,MCP 服务负责提供工具、资源和提示模板,两者通过标准消息通信,同一个服务可以被不同客户端复用。