mcpField
W
WebLens

WebLens

远程服务
api.weblens.dev浏览器自动化02 天前更新

关于 WebLens

WebLens 是面向 Agent 的网络情报 API,提供搜索、网页抓取、站点爬取、内容提取和研究等接口。它支持远程 HTTP MCP,并通过 x402 使用 USDC 按请求付费。

主要功能

  1. 01搜索网页及特定类别结果
  2. 02抓取、爬取、映射网站并截取页面
  3. 03从网页和 PDF 提取结构化数据
  4. 04生成带引用的答案和研究结果
  5. 05通过 x402 按请求支付

适用场景

  1. 01为 Agent 查找最新网络资料
  2. 02收集整个网站的页面内容
  3. 03按 JSON schema 提取字段
  4. 04通过带引用的结果研究主题

MCP 相关

Agent 可通过 `https://api.weblens.dev/mcp` 的远程 HTTP MCP 端点连接 WebLens。随附的 MCP 服务端会处理付费调用的 x402 支付流程。

配置

远程服务无需本地安装。选择你使用的客户端,复制配置或使用一键安装。

服务地址https://api.weblens.dev/mcp
一键复制安装命令
Claude CodeTerminal
Cursor.cursor/mcp.json
VS Code.vscode/mcp.json
Claude Desktopclaude_desktop_config.json
Windsurf~/.codeium/windsurf/mcp_config.json

命令在终端中运行;JSON 粘贴到对应客户端的 MCP 配置后重启。需要授权的服务会在首次连接时提示登录。

工具

27
参数类型必填说明
urlstring否仅适用于由 fetch 支持的端点:对该 URL 运行真实的截断式预览
domainstring否仅适用于 /domain:对此域名运行真实的摘要预览
endpointstring是要预览的付费端点路径,例如 "/answer"

详细介绍

WebLens

面向 AI Agent 的高端网络情报 API,支持 x402 微支付。无需账户——在 Base 或 Solana 上使用 USDC 按请求付费。

🌐 在线 API: https://api.weblens.dev 📖 交互式文档: https://api.weblens.dev/docs 🤖 Agent 指南: https://api.weblens.dev/llms.txt 🔎 市场: 已在 x402scan 上架

立即免费试用

无需钱包,无需注册——以下接口的速率限制为每个 IP 每小时 10 次请求:

curl https://api.weblens.dev/r/https://example.com     # any page as markdown
curl https://api.weblens.dev/s/cloudflare+workers      # web search

付费前预览(免费)

Agent 不必为了了解返回内容而购买一次调用。POST /preview 免费提供这些信息——实时价格、一句话摘要,以及符合实际响应格式的样例:

curl -X POST https://api.weblens.dev/preview \
  -H "Content-Type: application/json" \
  -d '{"endpoint": "/answer"}'
{
  "endpoint": "/answer",
  "price": "$0.05",
  "currency": "USD",
  "summary": "A direct answer with inline [n] citations to real sources.",
  "sample": { "query": "...", "answer": "...", "citations": [], "confidence": 0.92 },
  "sampleType": "recorded",
  "livePreviewAvailable": false,
  "livePreviewHint": "This endpoint calls a paid upstream provider, so free live previews are not offered — the recorded sample shows the exact response shape."
}

实时预览与记录样例。 只有边际成本仅为普通抓取的端点才会运行真实的截断实时预览——目前包括 /fetch/basic、/contents 和 /map——并且必须传入 url。其他端点依赖按量计费的上游服务(Google 搜索 API、Anthropic);免费运行会消耗上游额度,因此这些端点会返回记录的样例,其中仍展示每个字段的名称和类型。未出售的端点会返回 404。

# live: the first 500 chars of the real result, for free
curl -X POST https://api.weblens.dev/preview \
  -H "Content-Type: application/json" \
  -d '{"endpoint": "/fetch/basic", "url": "https://example.com"}'

与免费套餐中的其他接口一样,速率限制为每个 IP 每小时 10 次请求。

ERC-8004:收据与反馈

ERC-8004(Trustless Agents)会将精简信号保存在链上,详细文档则保存在链下。WebLens 托管链下部分——服务运营方无需部署合约即可运行的部分。为准确说明其功能与限制:WebLens 未在链上注册,没有 Agent ID,也不会向任何注册表写入内容。

端点提供的内容
GET /.well-known/agent-registration.jsonERC-8004 注册文档:名称、描述、图片、服务、x402Support、支付信息、反馈端点。registrations 为空(未进行链上注册),supportedTrust 为 ["feedback"]。
GET /receipts/{requestId}付费调用的收据——端点、状态、结果、价格、支付方式、网络、收款地址。每个付费响应都会返回 X-Receipt-Id 和 X-Receipt-Url 标头,指向此处。保留 30 天。
POST /feedback托管由你编写的反馈文档;返回 {feedbackURI, feedbackHash}(keccak-256),即 giveFeedback() 所需的一对值。必填字段:agentRegistry、agentId、clientAddress、createdAt、value、valueDecimals——缺少任何一项都会返回 400 并指出缺失字段。
GET /feedback/{id}按字节原样提供该文档,因此其 keccak-256 哈希与提供给你的 feedbackHash 相符。此 URL 就是 feedbackURI。

还有两点需要明确说明:

  • 收据未签名。其依据是其中标明的结算 transaction,任何人都可以在链上核验;除此之外,这里的内容都不具备免信任特性。
  • 反馈文档由买方编写,并由买方自行提交 giveFeedback()。WebLens 只会原样托管该文档并返回其哈希;绝不会编写、编辑或提交反馈。

端点

所有付费端点均使用 POST 并接受 JSON 请求体。价格按每次请求以 USDC 计。

核心
Endpoint描述价格
/fetch/basic将网页抓取为干净的 Markdown$0.002
/fetch/pro抓取网页并完整渲染 JavaScript(SPA)$0.006
/contents批量获取 1–20 个 URL 的页面文本$0.0015/URL
/screenshot截取网页(PNG)$0.008
/map发现网站 URL(站点地图 + 链接,不抓取页面)$0.004
/domain获取域名的注册信息、DNS、SaaS 技术栈和风险信号$0.005
/tech检测网站的框架、CMS、CDN、分析和支付技术栈$0.005
/package检查 npm/PyPI 软件包健康状况:弃用状态、下载量、维护情况$0.003
/discussions获取 Hacker News 上相关主题的故事及汇总信息$0.004
/intel/project链下项目尽职调查:域名年龄、团队/白皮书、合约交叉核查、A–F 评级$0.05
/crawl有范围限制地爬取整个网站 → 每个页面生成 Markdown$0.0015/page
搜索
Endpoint描述价格
/search实时网页搜索(includeContent 会添加页面 Markdown,+$0.0015/结果)$0.005
/search/news获取 Google News 文章及来源和日期$0.005
/search/images获取图片结果及尺寸和来源页面$0.005
/search/places获取本地商家信息:地址、评分、电话、坐标$0.045
/search/shopping获取商品信息:价格、卖家、评分$0.005
/search/scholar获取学术论文及引用次数$0.005
/search/autocomplete获取查询建议(关键词/意图研究)$0.004
/search/trends获取一段时间内的兴趣趋势$0.04
社交
Endpoint描述价格
/social/youtube/transcript获取完整视频文字稿及时间戳$0.03
提取与研究
Endpoint描述价格
/extract按照 JSON 架构进行结构化提取$0.03
/pdf从 PDF 中提取文本和元数据$0.004
/answer提供有依据的回答,并附带行内 [n] 引用$0.05
/research/deep提供带引用的研究:执行一次搜索(quick),或将问题拆分为子问题 → 逐一搜索(standard、deep)→ 提供带行内 [n] 引用的回答$0.08–$0.35

/research/deep 是唯一运行时间较长的 Endpoint:它会规划子问题、针对每个子问题执行网页搜索、获取并去重来源,然后综合生成带引用的回答——以上操作均在一次同步调用中完成。一次 standard 运行(3 个子问题、8 个来源,$0.20)大约需要 30–60 秒;deep(5 个子问题、12 个来源,$0.35)耗时更长。请设置较长的 HTTP 超时时间(120 秒以上),客户端超时时不要重试,否则你将支付两次费用。

情报
Endpoint描述价格

以下接口免费且无需身份验证:/、/health、/docs、/openapi.json、/llms.txt、/discovery、/.well-known/x402、/mcp、/r/{url}、/free/fetch、/preview、/.well-known/agent-registration.json、/receipts/{requestId}、/feedback、/feedback/{id}。

动态定价的 Endpoint(/fetch/pro、/extract)会应用复杂度乘数——对于受机器人保护的域名,最高可达 3 倍。抓取类接口的缓存响应便宜 70%。确切价格始终会显示在 402 挑战中。

与 AI Agent 搭配使用(MCP)

远程 HTTP — 无需安装:

{ "mcpServers": { "weblens": { "url": "https://api.weblens.dev/mcp" } } }

API 用法

# Fetch a page as markdown
curl -X POST https://api.weblens.dev/fetch/basic \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com"}'

# Search, with page content included
curl -X POST https://api.weblens.dev/search \
  -H "Content-Type: application/json" \
  -d '{"query": "latest AI news", "limit": 5, "includeContent": true}'

# Structured extraction
curl -X POST https://api.weblens.dev/extract \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com/product",
       "schema": {"title": {"type": "string"}, "price": {"type": "number"}},
       "instructions": "Extract the product title and price"}'

# Crawl a site (pay for the page budget you request)
curl -X POST https://api.weblens.dev/crawl \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com", "limit": 10, "maxDepth": 2}'

# Deep research with inline citations (slow — 30-60s, so raise the client timeout)
curl --max-time 120 -X POST https://api.weblens.dev/research/deep \
  -H "Content-Type: application/json" \
  -d '{"query": "How are AI agents using micropayments in 2026?", "depth": "standard"}'

每个接口在附加付款前都会返回 402 Payment Required 和价格——详见下文。

支付方式

WebLens 实现了 x402 v2:

  1. 不附带付款信息,向任意付费端点发送 POST 请求。
  2. 收到 402 Payment Required,其中的 PAYMENT-REQUIRED 标头包含价格、网络、资产和收款地址。
  3. 使用你的钱包签署 USDC 转账授权。
  4. 在 Payment-Signature 标头中携带签名,重试相同请求。
  5. 付款会在链上验证,随后你就能获取数据。

在 Base 上,付款通过 Coinbase 的 CDP facilitator 结算;如果 CDP 结算失败,则由 PayAI 接手。在 Solana 上,付款通过 PayAI 结算。任何 x402 v2 客户端都可使用,例如 @x402/axios、@x402/fetch 或内置的 MCP 服务;它会为你处理整个流程。

预付 API 密钥是另一种选择,适合使用银行卡付款的开发者(仅在已启用银行卡销售的情况下):POST /billing/checkout {"pack": "10"} 会返回一个 Stripe Checkout 链接,可购买 $10、$50 或 $100 套餐。付款后显示的页面会一次性展示 API 密钥。在任意付费端点请求中,通过 Authorization: Bearer <key> 发送该密钥;每次调用都按标价扣款,失败的调用会退款。GET /account 会显示余额。

开发

pnpm install
pnpm run dev          # local dev server on :8787
pnpm run build        # tsc --noEmit (type check)
pnpm run lint         # eslint
pnpm run test         # vitest (unit + property + workerd integration)
pnpm run deploy       # wrangler deploy (production)

使用 wrangler 设置密钥,绝不提交到代码库:

wrangler secret put SERPER_API_KEY      # search and its verticals (Serper)
wrangler secret put SERP_API_KEY        # Google Trends + YouTube transcripts (SerpAPI)
wrangler secret put ANTHROPIC_API_KEY   # AI extraction, research, answers, intel
wrangler secret put CDP_API_KEY_ID      # optional: CDP facilitator fallback
wrangler secret put CDP_API_KEY_SECRET
变量用途
PAY_TO_ADDRESS接收付款的钱包(wrangler.toml 中的变量)
NETWORKbase(生产环境)或 base-sepolia(测试网)
SERPER_API_KEYSerper 密钥——用于搜索、新闻、图片、地点、购物、学术搜索和自动补全
SERP_API_KEYSerpAPI 密钥——用于 Google Trends、YouTube 转录文本
ANTHROPIC_API_KEYClaude——用于提取、研究、回答和情报分析
API_KEY_PREFIX此环境所售 API 密钥的前缀(wl_live_ / wl_test_,wrangler.toml 中的变量)
STRIPE_SECRET_KEY、STRIPE_WEBHOOK_SECRET可选:销售预付 API 密钥的银行卡付款(Stripe Managed Payments);未同时设置这两个变量时,/billing/* 会返回 503
PAYAI_FACILITATOR_URL可选:覆盖 facilitator 端点
在测试网上测试
wrangler dev --env testnet          # Base Sepolia, fake USDC
API_URL=http://localhost:8787 PRIVATE_KEY=0x... npx tsx scripts/test-payment-testnet.ts

在 Base Sepolia 上通过 Circle 水龙头获取免费的测试网 USDC。

服务发现
pnpm run verify-bazaar    # check the x402 discovery extension on every route

/openapi.json 也可作为 x402scan 的服务发现文档,其中包含 info.x-guidance、每个操作对应的 x-payment-info,以及免费操作上的 security: []。WebLens 已列入 x402scan,并已编入 PayAI facilitator 目录索引。

**关于 Coinbase CDP Bazaar 的说明:**它只会收录由 CDP facilitator 自行结算付款的服务。WebLens 使用 PayAI 作为主要 facilitator(CDP 存在尚未修复的 Base 主网结算问题,x402#1065),因此不会出现在该目录中。

技术栈

  • Cloudflare Workers——边缘运行时、Durable Objects、KV、Browser Rendering
  • Hono——Web 框架
  • x402——基于 HTTP 的微支付
  • Zod——请求验证
  • Vitest + fast-check——单元测试、属性测试和真实 workerd 集成测试

链接

许可证

MIT

评论

支持 Markdown

第一次接触 MCP?

从协议是什么,到在客户端里装上第一个服务,这几条回答覆盖了大多数入门问题。

一个开放协议,规定了 AI 应用如何以统一方式连接外部工具与数据源。客户端负责与模型对话,MCP 服务负责提供工具、资源和提示模板,两者通过标准消息通信,同一个服务可以被不同客户端复用。