AgentScrape

AgentScrape

面向 AI Agent 的按次付费网页抓取——无需注册、无需 API 密钥，只需 USDC。

在线服务： agent-scrape.healingsunhaven.workers.dev

AI Agent 可发现 AgentScrape，通过 Base 上的 USDC 按次付费，并获取整洁的结构化数据——无需账户、无需 API 密钥，也无需人工介入。

两种协议，一个服务：

• HTTP API，采用 x402 v2 付款门控——适用于使用原始 HTTP 的 Agent
• MCP 服务（Streamable HTTP 传输）——适用于 Claude Desktop、Cursor、Continue.dev 及任何兼容 MCP 的框架

---

为什么要构建它

传统的抓取 API 都假定用户是人类：

• 使用电子邮件注册
• 添加付款方式
• 管理 API 密钥
• 承诺按月订阅

AI Agent 做不到这些。 它们拥有钱包和稳定币，需要专为它们构建的基础设施。

AgentScrape 支持两种开放标准：

• x402——原生支持 HTTP 的付款协议。服务端返回包含付款要求的 402 响应；Agent 签署 USDC 转账；支付中介在链上结算；数据随即返回。端到端耗时不到 2 秒。
• MCP——标准的 Agent 工具接口。Agent 无需使用各供应商专属的 SDK，即可浏览、发现和调用工具。

无需注册。无需 API 密钥。无需订阅。只需 USDC。

---

工具

在主网上验证期间，所有工具的费用均为 $0.001 USDC。验证稳定性后将逐步调整价格（见定价）。

工具	描述
scrape_webpage	将任意 URL 抓取为 Markdown、HTML、文本或 JSON
extract_structured_data	由 AI 驱动的结构化数据提取，支持自然语言提示词和 JSON 架构（Groq + Llama 4 Scout）
screenshot_webpage	可控制视口的 PNG 截图（桌面端／移动端／平板，可选整页截图）
extract_metadata	标题、描述、Open Graph、Twitter 卡片、JSON-LD、规范 URL
create_browser_session	支持 Cookie 和 localStorage 持久化的有状态浏览器会话
run_workflow	多步骤原子执行：导航、点击、输入、等待、滚动、截图、提取、求值

---

快速开始——HTTP API

# Free service discovery (no payment)
curl https://agent-scrape.healingsunhaven.workers.dev/

# Paid call — without payment, returns 402 with payment requirements
curl -X POST https://agent-scrape.healingsunhaven.workers.dev/scrape \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com", "format": "markdown"}'

# Free tier — first 10 calls per wallet, send your wallet in the X-402-Payer header
curl -X POST https://agent-scrape.healingsunhaven.workers.dev/scrape \
  -H "Content-Type: application/json" \
  -H "X-402-Payer: 0xYourBaseWalletAddress" \
  -d '{"url": "https://example.com", "format": "markdown"}'

---

快速开始——MCP

通过 Streamable HTTP 将其添加到任何兼容 MCP 的客户端：

{
  "mcpServers": {
    "agent-scrape": {
      "url": "https://agent-scrape.healingsunhaven.workers.dev/mcp",
      "transport": "streamable-http"
    }
  }
}

x402 付款元数据会随 MCP tools/list 响应一同广播。配置了兼容 x402 的钱包后，客户端会自动处理付款握手。

---

发现

为便于机器驱动的发现，服务开放了四个标准端点（免费，无需身份验证）：

端点	用途
/	服务配置文件 JSON（工具、价格、网络、payTo）
/.well-known/x402（以及 .json 别名）	x402 清单——payTo、网络、支付中介及所有付费路由
/openapi.json	面向传统工具的 OpenAPI 3.1 规范
/llms.txt	面向 Agent 的纯文本说明

402 响应本身会在经过 Base64 编码的 Payment-Required 标头中携带规范的付款要求，响应正文还包含带有发现链接的易读错误信息。

---

架构

                ┌──────────────────────────────────┐
                │      Cloudflare Workers          │
                │      (global edge, 330+ POPs)    │
                │                                  │
AI Agent ───────┼─▶  GET  /                  (free)│
(HTTP)          ├─▶  GET  /.well-known/x402  (free)│
                ├─▶  GET  /openapi.json      (free)│
                ├─▶  GET  /llms.txt          (free)│
                ├─▶  POST /scrape         ($0.001) │
                ├─▶  POST /extract        ($0.001) │
                ├─▶  POST /screenshot     ($0.001) │
                ├─▶  POST /metadata       ($0.001) │
                ├─▶  POST /workflow       ($0.001) │
                ├─▶  POST /session        ($0.001) │
                │                                  │
AI Agent ───────┼─▶  POST /mcp                     │
(MCP)           │      • initialize                │
                │      • tools/list                │
                │      • tools/call (paid)         │
                │                                  │
                └──────────────┬───────────────────┘
                               │
              ┌────────────────┴─────────────────┐
              │                                  │
   Coinbase CDP facilitator       Browser Rendering API
   (api.cdp.coinbase.com/         Groq API (Llama 4 Scout)
    platform/v2/x402)             KV (sessions, free tier)
   Ed25519 JWT auth
   Settles USDC on Base
              │
              ▼
   payTo wallet 0x3F33...9E9a

技术栈：

• 运行时： Cloudflare Workers（V8 隔离区，全球边缘网络）
• HTTP 框架： Hono + @x402/hono v2 支付中间件
• MCP 框架： @modelcontextprotocol/sdk + agents/mcp，并绑定 withX402 支付
• Bazaar 发现： @x402/extensions — 每个付费路由都会声明输入架构和输出示例
• 浏览器： Cloudflare Browser Rendering API + @cloudflare/puppeteer
• AI 提取： Groq + Llama 4 Scout（17B，16E）
• 存储： Cloudflare KV（5 分钟响应缓存、浏览器会话、免费套餐计数器）
• 网络： Base 主网（eip155:8453）
• 资产： 原生 USDC（0x833589fCD6eDb6E08f4c7C32D4f71b54bdA02913）
• 支付协调器： Coinbase CDP（api.cdp.coinbase.com/platform/v2/x402），采用 Ed25519 JWT 身份验证

---

免费套餐

每个钱包地址每 30 天可在 HTTP API 上免费调用 10 次。在 X-402-Payer 标头中传入你的 Base 钱包地址。调用 10 次后，必须通过 x402 付款。

免费套餐仅适用于 HTTP。MCP 调用通过标准 x402 支付流程进行。

---

定价

上线优惠期（主网上线后的前 48 小时）：每次工具调用统一收费 $0.001。

验证完成后，价格将逐步调整为：

工具	生产价格
scrape_webpage	$0.003
extract_structured_data	$0.005
screenshot_webpage	$0.003
extract_metadata	$0.002
run_workflow	$0.008
create_browser_session	$0.001

计划提供批量折扣（每月 1K 次调用优惠 20%，10K 次优惠 40%）。

---

为什么选择 x402 + MCP

传统 API	x402 + MCP
在 scraperapi.com 注册	通过 MCP initialize 发现服务
添加信用卡	钱包持有 USDC
获取 API 密钥	无需密钥
每月最低 $49	每次调用 $0.001
管理速率限制	按使用量付费，无限制
需要人工介入	Agent 完全自主

---

验证部署

# Service identity
curl https://agent-scrape.healingsunhaven.workers.dev/ | jq .

# x402 manifest
curl https://agent-scrape.healingsunhaven.workers.dev/.well-known/x402 | jq .

# 402 challenge with x402 v2 headers
curl -i -X POST https://agent-scrape.healingsunhaven.workers.dev/scrape \
  -H "Content-Type: application/json" \
  -d '{"url":"https://example.com"}'
# → HTTP 402, Payment-Required header (base64 JSON), Cache-Control: private, no-store

# CORS preflight (browser-based agents)
curl -i -X OPTIONS https://agent-scrape.healingsunhaven.workers.dev/scrape \
  -H "Origin: https://example.com" \
  -H "Access-Control-Request-Method: POST" \
  -H "Access-Control-Request-Headers: Content-Type,X-Payment"
# → HTTP 204, allow-headers includes X-Payment and Payment-Signature

---

路线图

2026 年第三季度：

• AgentParse — 文档/PDF/OCR 转 Markdown 服务（采用相同的 x402 + MCP 模式）
• AgentSearch — 多后端网页搜索聚合
• LangChain 集成包（langchain-agent-scrape）

2026 年第四季度：

• 订阅套餐（$2.50 可抓取 1000 次）
• 多资产支持（Base 上的 USDT、Arbitrum 上的 USDC）
• 为长时间运行的工作流提供 Webhook + 异步响应选项

---

本地运行

需要 Node 22+、启用了 Workers 和 Browser Rendering 的 Cloudflare 账户、Groq API 密钥，以及 Coinbase CDP API 密钥。

git clone https://github.com/hshintelligence/agent-scrape.git
cd agent-scrape
npm install

# Set secrets
npx wrangler secret put GROQ_API_KEY
npx wrangler secret put CDP_API_KEY_ID
npx wrangler secret put CDP_API_KEY_SECRET

# Local dev
npx wrangler dev

# Deploy
npx wrangler deploy

如需将自己的钱包用作 payTo，请编辑 src/index.ts 中的 PAY_TO 常量。

---

许可证

MIT — 参见 LICENSE。

---

联系方式

由 HSH Intelligence 构建，由 Healing Sun Haven LLC（美国怀俄明州）运营。

• 服务： https://agent-scrape.healingsunhaven.workers.dev
• 代码仓库： https://github.com/hshintelligence/agent-scrape
• 一般咨询： [email protected]

---

面向 AI Agent 的按次付费网页抓取——无需注册、无需 API 密钥，只需 USDC。

在 ElizaOS 中使用 AgentScrape

ElizaOS 原生支持远程 MCP 服务，可通过 @elizaos/plugin-mcp 插件使用。AgentScrape 开箱即用，无需自定义集成。

安装 MCP 插件

bun add @elizaos/plugin-mcp
# or
npm install @elizaos/plugin-mcp

配置角色以使用 AgentScrape

在 ElizaOS 角色 JSON 中添加该插件，并将 MCP 服务配置指向 AgentScrape 的 Streamable HTTP 端点：

{
  "name": "ResearchAgent",
  "plugins": ["@elizaos/plugin-mcp"],
  "settings": {
    "mcp": {
      "servers": {
        "agentscrape": {
          "type": "streamable-http",
          "name": "AgentScrape",
          "url": "https://agent-scrape.healingsunhaven.workers.dev/mcp",
          "timeout": 60
        }
      }
    }
  }
}

可用工具（由 ElizaOS 自动发现）

配置完成后，Agent 会自动发现全部六个 AgentScrape 工具：

工具	费用	用途
scrape_webpage	$0.003 USDC	抓取 Markdown/HTML/文本/JSON
extract_structured_data	$0.005 USDC	通过 Groq + Llama 4 Scout 提取数据
screenshot_webpage	$0.003 USDC	可控制视口的 PNG 截图
extract_metadata	$0.002 USDC	标题、OG、Twitter、JSON-LD
create_browser_session	$0.001 USDC	有状态浏览器会话
run_workflow	$0.008 USDC	最多 20 步的多步骤原子工作流

免费额度

每个钱包在前 30 天内的前 10 次调用免费。之后，调用需通过 x402 v2 支付协议使用 Base 主网（eip155:8453）上的 USDC 付费。若要付款，请在重试时提供包含 x402 支付凭证的 X-PAYMENT-RESPONSE 标头——这是标准的 x402 流程。

提示词示例

接入插件后，ElizaOS Agent 可无缝使用 AgentScrape：

用户：“抓取 https://www.x402.org 并给我一个两句话的摘要。”

ElizaOS 会通过 @elizaos/plugin-mcp 路由请求，调用 AgentScrape 的 scrape_webpage 工具，然后由 Agent 根据实时页面内容作答。

资源

• AgentScrape Worker：https://agent-scrape.healingsunhaven.workers.dev
• x402 清单：https://agent-scrape.healingsunhaven.workers.dev/.well-known/x402.json
• A2A Agent 卡片：https://agent-scrape.healingsunhaven.workers.dev/.well-known/agent.json
• 源代码：https://github.com/hshintelligence/agent-scrape