关于 WebLens
WebLens 是面向 Agent 的网络情报 API,提供搜索、网页抓取、站点爬取、内容提取和研究等接口。它支持远程 HTTP MCP,并通过 x402 使用 USDC 按请求付费。
主要功能
- 01搜索网页及特定类别结果
- 02抓取、爬取、映射网站并截取页面
- 03从网页和 PDF 提取结构化数据
- 04生成带引用的答案和研究结果
- 05通过 x402 按请求支付
适用场景
- 01为 Agent 查找最新网络资料
- 02收集整个网站的页面内容
- 03按 JSON schema 提取字段
- 04通过带引用的结果研究主题
MCP 相关
Agent 可通过 `https://api.weblens.dev/mcp` 的远程 HTTP MCP 端点连接 WebLens。随附的 MCP 服务端会处理付费调用的 x402 支付流程。
配置
远程服务无需本地安装。选择你使用的客户端,复制配置或使用一键安装。
https://api.weblens.dev/mcpclaude mcp add --transport http dev-weblens-weblens https://api.weblens.dev/mcp{"mcpServers":{"dev-weblens-weblens":{"type":"http","url":"https://api.weblens.dev/mcp"}}}在 Cursor 中打开{"servers":{"dev-weblens-weblens":{"type":"http","url":"https://api.weblens.dev/mcp"}}}在 VS Code 中打开{"mcpServers":{"dev-weblens-weblens":{"type":"http","url":"https://api.weblens.dev/mcp"}}}{"mcpServers":{"dev-weblens-weblens":{"serverUrl":"https://api.weblens.dev/mcp"}}}命令在终端中运行;JSON 粘贴到对应客户端的 MCP 配置后重启。需要授权的服务会在首次连接时提示登录。
工具
27| 参数 | 类型 | 必填 | 说明 |
|---|---|---|---|
| url | string | 否 | 仅适用于由 fetch 支持的端点:对该 URL 运行真实的截断式预览 |
| domain | string | 否 | 仅适用于 /domain:对此域名运行真实的摘要预览 |
| endpoint | string | 是 | 要预览的付费端点路径,例如 "/answer" |
详细介绍
WebLens
面向 AI Agent 的高端网络情报 API,支持 x402 微支付。无需账户——在 Base 或 Solana 上使用 USDC 按请求付费。
🌐 在线 API: https://api.weblens.dev 📖 交互式文档: https://api.weblens.dev/docs 🤖 Agent 指南: https://api.weblens.dev/llms.txt 🔎 市场: 已在 x402scan 上架
立即免费试用
无需钱包,无需注册——以下接口的速率限制为每个 IP 每小时 10 次请求:
curl https://api.weblens.dev/r/https://example.com # any page as markdown
curl https://api.weblens.dev/s/cloudflare+workers # web search
付费前预览(免费)
Agent 不必为了了解返回内容而购买一次调用。POST /preview 免费提供这些信息——实时价格、一句话摘要,以及符合实际响应格式的样例:
curl -X POST https://api.weblens.dev/preview \
-H "Content-Type: application/json" \
-d '{"endpoint": "/answer"}'
{
"endpoint": "/answer",
"price": "$0.05",
"currency": "USD",
"summary": "A direct answer with inline [n] citations to real sources.",
"sample": { "query": "...", "answer": "...", "citations": [], "confidence": 0.92 },
"sampleType": "recorded",
"livePreviewAvailable": false,
"livePreviewHint": "This endpoint calls a paid upstream provider, so free live previews are not offered — the recorded sample shows the exact response shape."
}
实时预览与记录样例。 只有边际成本仅为普通抓取的端点才会运行真实的截断实时预览——目前包括 /fetch/basic、/contents 和 /map——并且必须传入 url。其他端点依赖按量计费的上游服务(Google 搜索 API、Anthropic);免费运行会消耗上游额度,因此这些端点会返回记录的样例,其中仍展示每个字段的名称和类型。未出售的端点会返回 404。
# live: the first 500 chars of the real result, for free
curl -X POST https://api.weblens.dev/preview \
-H "Content-Type: application/json" \
-d '{"endpoint": "/fetch/basic", "url": "https://example.com"}'
与免费套餐中的其他接口一样,速率限制为每个 IP 每小时 10 次请求。
ERC-8004:收据与反馈
ERC-8004(Trustless Agents)会将精简信号保存在链上,详细文档则保存在链下。WebLens 托管链下部分——服务运营方无需部署合约即可运行的部分。为准确说明其功能与限制:WebLens 未在链上注册,没有 Agent ID,也不会向任何注册表写入内容。
| 端点 | 提供的内容 |
|---|---|
GET /.well-known/agent-registration.json | ERC-8004 注册文档:名称、描述、图片、服务、x402Support、支付信息、反馈端点。registrations 为空(未进行链上注册),supportedTrust 为 ["feedback"]。 |
GET /receipts/{requestId} | 付费调用的收据——端点、状态、结果、价格、支付方式、网络、收款地址。每个付费响应都会返回 X-Receipt-Id 和 X-Receipt-Url 标头,指向此处。保留 30 天。 |
POST /feedback | 托管由你编写的反馈文档;返回 {feedbackURI, feedbackHash}(keccak-256),即 giveFeedback() 所需的一对值。必填字段:agentRegistry、agentId、clientAddress、createdAt、value、valueDecimals——缺少任何一项都会返回 400 并指出缺失字段。 |
GET /feedback/{id} | 按字节原样提供该文档,因此其 keccak-256 哈希与提供给你的 feedbackHash 相符。此 URL 就是 feedbackURI。 |
还有两点需要明确说明:
- 收据未签名。其依据是其中标明的结算
transaction,任何人都可以在链上核验;除此之外,这里的内容都不具备免信任特性。 - 反馈文档由买方编写,并由买方自行提交
giveFeedback()。WebLens 只会原样托管该文档并返回其哈希;绝不会编写、编辑或提交反馈。
端点
所有付费端点均使用 POST 并接受 JSON 请求体。价格按每次请求以 USDC 计。
核心
| Endpoint | 描述 | 价格 |
|---|---|---|
/fetch/basic | 将网页抓取为干净的 Markdown | $0.002 |
/fetch/pro | 抓取网页并完整渲染 JavaScript(SPA) | $0.006 |
/contents | 批量获取 1–20 个 URL 的页面文本 | $0.0015/URL |
/screenshot | 截取网页(PNG) | $0.008 |
/map | 发现网站 URL(站点地图 + 链接,不抓取页面) | $0.004 |
/domain | 获取域名的注册信息、DNS、SaaS 技术栈和风险信号 | $0.005 |
/tech | 检测网站的框架、CMS、CDN、分析和支付技术栈 | $0.005 |
/package | 检查 npm/PyPI 软件包健康状况:弃用状态、下载量、维护情况 | $0.003 |
/discussions | 获取 Hacker News 上相关主题的故事及汇总信息 | $0.004 |
/intel/project | 链下项目尽职调查:域名年龄、团队/白皮书、合约交叉核查、A–F 评级 | $0.05 |
/crawl | 有范围限制地爬取整个网站 → 每个页面生成 Markdown | $0.0015/page |
搜索
| Endpoint | 描述 | 价格 |
|---|---|---|
/search | 实时网页搜索(includeContent 会添加页面 Markdown,+$0.0015/结果) | $0.005 |
/search/news | 获取 Google News 文章及来源和日期 | $0.005 |
/search/images | 获取图片结果及尺寸和来源页面 | $0.005 |
/search/places | 获取本地商家信息:地址、评分、电话、坐标 | $0.045 |
/search/shopping | 获取商品信息:价格、卖家、评分 | $0.005 |
/search/scholar | 获取学术论文及引用次数 | $0.005 |
/search/autocomplete | 获取查询建议(关键词/意图研究) | $0.004 |
/search/trends | 获取一段时间内的兴趣趋势 | $0.04 |
社交
| Endpoint | 描述 | 价格 |
|---|---|---|
/social/youtube/transcript | 获取完整视频文字稿及时间戳 | $0.03 |
提取与研究
| Endpoint | 描述 | 价格 |
|---|---|---|
/extract | 按照 JSON 架构进行结构化提取 | $0.03 |
/pdf | 从 PDF 中提取文本和元数据 | $0.004 |
/answer | 提供有依据的回答,并附带行内 [n] 引用 | $0.05 |
/research/deep | 提供带引用的研究:执行一次搜索(quick),或将问题拆分为子问题 → 逐一搜索(standard、deep)→ 提供带行内 [n] 引用的回答 | $0.08–$0.35 |
/research/deep 是唯一运行时间较长的 Endpoint:它会规划子问题、针对每个子问题执行网页搜索、获取并去重来源,然后综合生成带引用的回答——以上操作均在一次同步调用中完成。一次 standard 运行(3 个子问题、8 个来源,$0.20)大约需要 30–60 秒;deep(5 个子问题、12 个来源,$0.35)耗时更长。请设置较长的 HTTP 超时时间(120 秒以上),客户端超时时不要重试,否则你将支付两次费用。
情报
| Endpoint | 描述 | 价格 |
|---|
以下接口免费且无需身份验证:/、/health、/docs、/openapi.json、/llms.txt、/discovery、/.well-known/x402、/mcp、/r/{url}、/free/fetch、/preview、/.well-known/agent-registration.json、/receipts/{requestId}、/feedback、/feedback/{id}。
动态定价的 Endpoint(/fetch/pro、/extract)会应用复杂度乘数——对于受机器人保护的域名,最高可达 3 倍。抓取类接口的缓存响应便宜 70%。确切价格始终会显示在 402 挑战中。
与 AI Agent 搭配使用(MCP)
远程 HTTP — 无需安装:
{ "mcpServers": { "weblens": { "url": "https://api.weblens.dev/mcp" } } }
API 用法
# Fetch a page as markdown
curl -X POST https://api.weblens.dev/fetch/basic \
-H "Content-Type: application/json" \
-d '{"url": "https://example.com"}'
# Search, with page content included
curl -X POST https://api.weblens.dev/search \
-H "Content-Type: application/json" \
-d '{"query": "latest AI news", "limit": 5, "includeContent": true}'
# Structured extraction
curl -X POST https://api.weblens.dev/extract \
-H "Content-Type: application/json" \
-d '{"url": "https://example.com/product",
"schema": {"title": {"type": "string"}, "price": {"type": "number"}},
"instructions": "Extract the product title and price"}'
# Crawl a site (pay for the page budget you request)
curl -X POST https://api.weblens.dev/crawl \
-H "Content-Type: application/json" \
-d '{"url": "https://example.com", "limit": 10, "maxDepth": 2}'
# Deep research with inline citations (slow — 30-60s, so raise the client timeout)
curl --max-time 120 -X POST https://api.weblens.dev/research/deep \
-H "Content-Type: application/json" \
-d '{"query": "How are AI agents using micropayments in 2026?", "depth": "standard"}'
每个接口在附加付款前都会返回 402 Payment Required 和价格——详见下文。
支付方式
WebLens 实现了 x402 v2:
- 不附带付款信息,向任意付费端点发送
POST请求。 - 收到
402 Payment Required,其中的PAYMENT-REQUIRED标头包含价格、网络、资产和收款地址。 - 使用你的钱包签署 USDC 转账授权。
- 在
Payment-Signature标头中携带签名,重试相同请求。 - 付款会在链上验证,随后你就能获取数据。
在 Base 上,付款通过 Coinbase 的 CDP facilitator 结算;如果 CDP 结算失败,则由 PayAI 接手。在 Solana 上,付款通过 PayAI 结算。任何 x402 v2 客户端都可使用,例如 @x402/axios、@x402/fetch 或内置的 MCP 服务;它会为你处理整个流程。
预付 API 密钥是另一种选择,适合使用银行卡付款的开发者(仅在已启用银行卡销售的情况下):POST /billing/checkout {"pack": "10"} 会返回一个 Stripe Checkout 链接,可购买 $10、$50 或 $100 套餐。付款后显示的页面会一次性展示 API 密钥。在任意付费端点请求中,通过 Authorization: Bearer <key> 发送该密钥;每次调用都按标价扣款,失败的调用会退款。GET /account 会显示余额。
开发
pnpm install
pnpm run dev # local dev server on :8787
pnpm run build # tsc --noEmit (type check)
pnpm run lint # eslint
pnpm run test # vitest (unit + property + workerd integration)
pnpm run deploy # wrangler deploy (production)
使用 wrangler 设置密钥,绝不提交到代码库:
wrangler secret put SERPER_API_KEY # search and its verticals (Serper)
wrangler secret put SERP_API_KEY # Google Trends + YouTube transcripts (SerpAPI)
wrangler secret put ANTHROPIC_API_KEY # AI extraction, research, answers, intel
wrangler secret put CDP_API_KEY_ID # optional: CDP facilitator fallback
wrangler secret put CDP_API_KEY_SECRET
| 变量 | 用途 |
|---|---|
PAY_TO_ADDRESS | 接收付款的钱包(wrangler.toml 中的变量) |
NETWORK | base(生产环境)或 base-sepolia(测试网) |
SERPER_API_KEY | Serper 密钥——用于搜索、新闻、图片、地点、购物、学术搜索和自动补全 |
SERP_API_KEY | SerpAPI 密钥——用于 Google Trends、YouTube 转录文本 |
ANTHROPIC_API_KEY | Claude——用于提取、研究、回答和情报分析 |
API_KEY_PREFIX | 此环境所售 API 密钥的前缀(wl_live_ / wl_test_,wrangler.toml 中的变量) |
STRIPE_SECRET_KEY、STRIPE_WEBHOOK_SECRET | 可选:销售预付 API 密钥的银行卡付款(Stripe Managed Payments);未同时设置这两个变量时,/billing/* 会返回 503 |
PAYAI_FACILITATOR_URL | 可选:覆盖 facilitator 端点 |
在测试网上测试
wrangler dev --env testnet # Base Sepolia, fake USDC
API_URL=http://localhost:8787 PRIVATE_KEY=0x... npx tsx scripts/test-payment-testnet.ts
在 Base Sepolia 上通过 Circle 水龙头获取免费的测试网 USDC。
服务发现
pnpm run verify-bazaar # check the x402 discovery extension on every route
/openapi.json 也可作为 x402scan 的服务发现文档,其中包含 info.x-guidance、每个操作对应的 x-payment-info,以及免费操作上的 security: []。WebLens 已列入 x402scan,并已编入 PayAI facilitator 目录索引。
**关于 Coinbase CDP Bazaar 的说明:**它只会收录由 CDP facilitator 自行结算付款的服务。WebLens 使用 PayAI 作为主要 facilitator(CDP 存在尚未修复的 Base 主网结算问题,x402#1065),因此不会出现在该目录中。
技术栈
- Cloudflare Workers——边缘运行时、Durable Objects、KV、Browser Rendering
- Hono——Web 框架
- x402——基于 HTTP 的微支付
- Zod——请求验证
- Vitest + fast-check——单元测试、属性测试和真实 workerd 集成测试
链接
许可证
MIT
评论
一个开放协议,规定了 AI 应用如何以统一方式连接外部工具与数据源。客户端负责与模型对话,MCP 服务负责提供工具、资源和提示模板,两者通过标准消息通信,同一个服务可以被不同客户端复用。