关于 Defuddle Fetch
Defuddle Fetch 是用于获取网页并整理内容的 MCP 服务,面向需要处理网页内容的 LLM 工作流。它支持 Markdown 或原始 HTML、分页读取和页面元数据提取。
主要功能
- 01使用 Defuddle 清理网页
- 02输出 Markdown 或原始 HTML
- 03分页读取网页内容
- 04提取标题和作者信息
- 05提取发布日期和字数
适用场景
- 01为 LLM 获取易读文章
- 02分段读取较长网页
- 03同时查看内容和页面元数据
MCP 相关
它向 MCP 客户端提供 `fetch` 工具,用于获取 URL,并返回整理后的页面内容及元数据。
配置
本地服务的配置在各客户端中通用,复制后粘贴到客户端的 MCP 配置文件即可。
暂未收录安装方式
我们还没有获取到这个服务的安装包或远程地址,请按项目 README 中的说明安装。
工具
还没有获取到工具列表
本地服务需要在你的电脑上运行后才能读取工具,维护者暂未提供工具列表。
详细介绍
defuddle-fetch-mcp-server
一个使用 Defuddle 库提供网页内容抓取功能的模型上下文协议服务。此服务支持大模型从网页检索和处理内容,并自动清理 HTML,将其转换为整洁、易读的 Markdown。
这是 默认抓取 MCP 服务 的即插即用替代方案,使用 Readability。对于大多数现代网页,它通常能提供更好的结果。
对比
(使用此问题)
| 默认抓取 MCP | Defuddle 抓取 MCP |
|---|---|
| https://github.com/kepano/defuddle/issues/61 的内容: MCP 协议是一种为 AI 模型提供工具访问权限的标准。 有一个默认抓取 MCP 服务,可让 AI 模型抓取网站内容。它使用 Readability.js,效果不太理想,尤其是在浏览 GitHub 时(我经常用它浏览 GitHub)。我知道有 GitHub MCP,不过这里似乎特别适合使用一种更通用的网页浏览方案。 Defuddle 处理网页的效果似乎明显优于 Readability.js,而通过自定义提取器让特定网站运行良好的做法也很不错。 如果有人能构建一个基于 defuddle 的抓取 MCP 服务,那就太好了。如果默认抓取 MCP 让我烦到受不了,我之后可能会抽空做这个 😄 | # 想法:基于 defuddle 的抓取 MCP 服务 · Issue #61 · kepano/defuddle URL:https://github.com/kepano/defuddle/issues/61 开放 #61 [](https://github.com/domdomegg)## 描述 MCP 协议是一种为 AI 模型提供工具访问权限的标准。 有一个默认抓取 MCP 服务,可让 AI 模型抓取网站内容。它使用 Readability.js,效果不太理想,尤其是在浏览 GitHub 时(我经常用它浏览 GitHub)。我知道有 GitHub MCP,不过这里似乎特别适合使用一种更通用的网页浏览方案。 Defuddle 处理网页的效果似乎明显优于 Readability.js,而通过自定义提取器让特定网站运行良好的做法也很不错。 如果有人能构建一个基于 defuddle 的抓取 MCP 服务,那就太好了。如果默认抓取 MCP 让我烦到受不了,我之后可能会抽空做这个 😄 |
功能
- 更好的内容提取:使用 Defuddle 清除网页杂项并提取主要内容,同时保留页面标题和关键元数据等信息
- 灵活的输出:支持 Markdown 和原始 HTML 输出
- 分块读取:支持使用
start_index和max_length参数进行分页 - 丰富的元数据:提取标题、作者、发布日期、字数等信息
安装
按照 install-mcp 上的说明操作,它会为你的 MCP 客户端(Claude Code、Claude Desktop、Cursor、Cline、VS Code 等)生成正确的配置。
组件
工具
- fetch
- 从互联网获取 URL,并使用 Defuddle 将其内容提取为整洁的 Markdown 文本
- 输入参数:
url(字符串,必填):要获取的 URLmax_length(数字,可选):要返回的最大字符数。默认值为 5000。start_index(数字,可选):从此字符索引开始获取内容。默认值为 0。raw(布尔值,可选):获取未经 Markdown 转换的原始内容。默认值为 false。
- 返回经过整理的内容及元数据,包括标题、作者、发布日期、字数、域名和处理时间
贡献
欢迎在 GitHub 上提交拉取请求!开始操作:
- 安装 Git 和 Node.js
- 克隆仓库
- 使用
npm install安装依赖 - 运行
npm run test执行测试 - 使用
npm run build进行构建
要将其添加到 Claude Desktop,请运行 npm run build,然后将以下配置添加到 claude_desktop_config.json:
{
"mcpServers": {
"defuddle-fetch": {
"command": "node",
"args": [
"/path/to/clone/defuddle-fetch-mcp-server/dist/index.js"
]
}
}
}
发布
版本遵循语义化版本规范。
发布步骤:
- 使用
npm version <major | minor | patch>更新版本号 - 运行
git push --follow-tags推送并附带标签 - 等待 GitHub Actions 发布到 NPM 注册表。
评论
支持 Markdown
一个开放协议,规定了 AI 应用如何以统一方式连接外部工具与数据源。客户端负责与模型对话,MCP 服务负责提供工具、资源和提示模板,两者通过标准消息通信,同一个服务可以被不同客户端复用。