关于 clawfetch
clawfetch 是面向 AI Agent 的网页情报 MCP 服务,可抓取网页、渲染动态页面、提取结构化数据并开展多来源研究。它通过 x402 使用 Base 上的 USDC 支付工具调用;公共托管端点已停用,需本地运行或直接调用 API。
主要功能
- 01将网页抓取为 Markdown
- 02渲染 JavaScript 密集型页面
- 03从多类网站提取结构化数据
- 04开展带引用的多来源研究
- 05检查域名并补充公司资料
- 06通过 x402 使用 USDC 付款
适用场景
- 01提取网页内容供 Agent 分析
- 02研究主题并整理来源引用
- 03查询域名可用性与建议
- 04从公司域名获取企业资料
MCP 相关
这是一个 MCP 服务,向兼容客户端提供网页抓取、渲染、数据提取、研究等工具。可通过 stdio 或 Streamable HTTP 本地运行,工具调用使用 x402 和 Base 上的 USDC 支付。
配置
本地服务的配置在各客户端中通用,复制后粘贴到客户端的 MCP 配置文件即可。
工具
本地服务需要在你的电脑上运行后才能读取工具,维护者暂未提供工具列表。
详细介绍
@clawfetch/mcp
适用于 ClawFetch 的 MCP(Model Context Protocol)服务——面向 AI Agent 的 Web Intelligence API。
让任何兼容 MCP 的客户端(Claude Desktop、Cursor、Windsurf、OpenClaw 等)即时使用 ClawFetch 的网络智能工具:将网页抓取为 Markdown、渲染 JavaScript 密集型单页应用(SPA)、从 17+ 种网站类型中提取结构化数据、多源研究主题、根据域名丰富公司信息,以及检查域名是否可用。
付款由 x402 protocol 自动处理——使用 Base 上的 USDC。无需 API 密钥或账单管理面板。
访问和付款
公共托管 MCP 端点已停用,并返回 HTTP 410 Gone。请按照下方说明在本地运行 MCP,或直接调用 https://api.clawfetch.ai。付费工具调用使用你自己的 Base 上 USDC 资金钱包;ClawFetch 不会补贴请求费用。
💻 自托管模式
运行自己的实例,完全掌控付款钱包。
安装
npm install -g @clawfetch/mcp
配置(stdio — 适用于本地 MCP 客户端)
添加到你的 MCP 客户端配置中(例如 Claude Desktop):
{
"mcpServers": {
"clawfetch": {
"command": "clawfetch-mcp",
"env": {
"CLAWFETCH_PRIVATE_KEY": "0xYOUR_ETHEREUM_PRIVATE_KEY"
}
}
}
}
私钥用于签署 x402 小额付款(Base 上的 USDC)。请在 Base 主网上为对应地址充值 USDC。
作为 HTTP 服务运行
通过 HTTP 向远程客户端提供 MCP 服务:
CLAWFETCH_PRIVATE_KEY=0x... CLAWFETCH_TRANSPORT=http CLAWFETCH_PORT=3001 clawfetch-mcp
此命令会在 http://localhost:3001/mcp 启动使用 Streamable HTTP 传输(符合 MCP 规范)的服务。默认情况下,它绑定到 127.0.0.1,且只接受回环 Host 标头,从而阻止网页发起 DNS 重绑定攻击。若要向远程客户端提供服务,请设置 CLAWFETCH_HOST=0.0.0.0,并在 CLAWFETCH_ALLOWED_HOSTS 中列出你的公共主机名。
HTTP 端点
| 端点 | 方法 | 说明 |
|---|---|---|
/mcp | POST | 初始化会话 — 返回 Mcp-Session-Id 标头 |
/mcp | GET | 用于向客户端发送服务通知的 SSE 流(需要会话 ID) |
/mcp | DELETE | 关闭会话 |
/health | GET | 服务运行状况检查(JSON) |
会话流程
- 初始化: 使用 JSON-RPC
initialize请求向POST /mcp发送请求 → 获取Mcp-Session-Id标头 - 调用工具: 使用
Mcp-Session-Id标头和 JSON-RPCtools/call请求向POST /mcp发送请求 - 流式传输: 使用
GET /mcp?sessionId=...获取 SSE 通知(可选) - 关闭: 使用
Mcp-Session-Id标头向DELETE /mcp发送请求
工具
| 工具 | 说明 | 费用 |
|---|---|---|
fetch_url | 将任意 URL 抓取为整洁的 Markdown | $0.001 |
render_page | 渲染 JavaScript 密集型页面(SPA、React 应用) | $0.005 |
extract_data | 从 17+ 种网站类型中提取结构化数据 | $0.008 |
research_topic | 带引用的多源研究 | $0.02 |
check_domains | 检查域名是否可注册 | $0.003 |
suggest_domains | 生成可注册的域名建议 | $0.003 |
parse_document | 将办公文档(docx/pptx/xlsx/pdf/…)解析为 Markdown | $0.005 |
enrich_company | 根据域名生成公司档案:社交账号、电子邮件、技术栈、关键页面 | $0.02 |
list_extractors | 列出支持的结构化数据提取器 | $0.001 |
health_check | 检查 API 运行状况 | 免费 |
wallet_info | 显示付款钱包地址 | 免费 |
支持的提取器
GitHub 仓库/个人资料、npm 包、PyPI 包、Twitter/X 个人资料、LinkedIn 个人资料/公司、YouTube 视频/频道、Product Hunt、Hacker News、Reddit、Crunchbase、Wikipedia 等。
使用 list_extractors 查看所有可用类型及其架构。
环境变量
| 变量 | 必填 | 默认值 | 描述 |
|---|---|---|---|
CLAWFETCH_PRIVATE_KEY | 是* | — | 用于 x402 付款的 Ethereum 私钥(以 0x 为前缀) |
CLAWFETCH_BASE_URL | 否 | https://api.clawfetch.ai | API 基础 URL |
CLAWFETCH_TRANSPORT | 否 | stdio | 传输方式:stdio 或 http |
CLAWFETCH_HOST | 否 | 127.0.0.1 | HTTP 服务绑定地址 |
CLAWFETCH_ALLOWED_HOSTS | 否 | localhost,127.0.0.1,[::1] | HTTP 传输允许的 Host 请求头列表,以逗号分隔(防止 DNS 重绑定) |
CLAWFETCH_PORT | 否 | 3001 | HTTP 服务端口 |
CLAWFETCH_TIMEOUT_MS | 否 | 60000 | 请求超时时间,单位为毫秒 |
CLAWFETCH_DEBUG | 否 | false | 启用调试日志(1 或 true) |
* 工具调用必填。若未设置此项,服务仍会启动并列出其工具、资源和提示词(供注册目录检查),但每次调用都会返回设置说明。请将此密钥保存在本地配置中,切勿提交到 ClawFetch 网站。
开发
git clone https://github.com/clawfetch/clawfetch-mcp.git
cd clawfetch-mcp
npm install
npm run build
npm test
许可证
MIT
评论
一个开放协议,规定了 AI 应用如何以统一方式连接外部工具与数据源。客户端负责与模型对话,MCP 服务负责提供工具、资源和提示模板,两者通过标准消息通信,同一个服务可以被不同客户端复用。