Web Scraper X402

网页抓取转 Markdown API

从任意 URL 提取干净的 Markdown。移除导航栏、广告和脚本，并返回结构化内容。专为 RAG 工作流和 AI 研究 Agent 打造。通过 x402 按次付费（Base L2 上的 USDC）——无需 API 密钥、无需注册，也没有速率限制壁垒。

这是 klymax402 市场的一部分——面向 AI Agent 的 100 个 x402 微支付 API，只需一个钱包，即可使用 Base 上的 USDC。

快速开始——MCP

添加到 MCP 客户端配置中（Claude Desktop、Cursor、ElizaOS 等）：

{
  "mcpServers": {
    "web-scraper": {
      "url": "https://web-scraper.api.klymax402.com/mcp"
    }
  }
}

快速开始——HTTP（x402）

curl "https://web-scraper.api.klymax402.com/api/scrape?url=https://example.com"
# -> 402 Payment Required, with an x402 payment challenge in the response body

任何支持 x402 的客户端（@x402/fetch、x402-agent-tools、ATXP）都会自动处理 402 → 签名 → 重试流程。

工具

工具	方法	路径	价格	描述
web_scrape_to_markdown	GET	/api/scrape	$0.012	抓取 URL 并转换为干净的 Markdown
web_scrape_batch	POST	/api/scrape/batch	$0.05	批量抓取最多 10 个 URL

web_scrape_to_markdown

完整渲染 JavaScript，抓取并提取 URL 中的内容，以干净的 Markdown 格式返回。可替代 Firecrawl scrape，成本低 2.5 倍。移除导航栏、广告、脚本和冗余内容——非常适合 RAG 工作流和 AI 研究 Agent。

参数

名称	类型	必填	描述
url	string	是	要抓取的 URL（例如 https://example.com/article）

响应示例：

{"title":"How to Scale APIs","description":"A guide to...","content":"# How to Scale APIs\n\nScaling requires...","wordCount":1250,"charCount":7800,"url":"https://blog.example.com/scale-apis"}

适用场景：总结文章、构建 RAG 语料库、研究网络来源中的主题，或从文档页面提取数据。对于任何需要抓取和提取网页内容并将其作为大模型输入的工作流而言，这都是必备工具。可直接替代 Firecrawl scrape。

不适用于：截图（使用 capture_screenshot）、SEO 审核（使用 seo_audit_page）、技术栈检测（使用 website_detect_tech_stack）、网页搜索（使用 web_search_query）。

web_scrape_batch

需要一次从多个网页（最多 10 个 URL）提取干净内容时使用。每个 URL 都会返回与 web_scrape_to_markdown 相同的结构化 Markdown 输出。

参数

名称	类型	必填	描述
urls	array	是	URL 数组（最多 10 个）

响应示例：

{"results":[{"url":"https://a.com","title":"Page A","wordCount":800},{"url":"https://b.com","title":"Page B","wordCount":1200}],"summary":{"total":2,"totalWords":2000,"failed":0}}

适用场景：构建研究语料库、比较竞品页面的内容，或批量提取文档。当你需要在一个工作流中处理 3 个以上的 URL 时，这是必备工具。

不适用于：单个 URL（使用 web_scrape_to_markdown）、SEO 对比（使用 seo_audit_batch）。

Agent 提示词示例

• “完整渲染 JavaScript，抓取并提取 URL 中的内容，以干净的 Markdown 格式返回”
• “一次从多个网页（最多 10 个 URL）提取干净内容”

付款

• 协议：x402——基于 HTTP 的按次付费，无需注册，无需 API 密钥
• 网络：Base L2（eip155:8453）
• 资产：USDC
• Facilitator：Coinbase CDP（主要）、PayAI（备用）
• 也可通过 ATXP 使用（由 OAuth 封装的 x402，受 RFC 9728 受保护资源元数据保护）

klymax402 的一部分

面向 AI Agent 的 100 个 x402 微支付 API——只需一个钱包，即可使用 Base 上的 USDC，无需注册。

• 目录：https://klymax402.com/llms.txt
• 完整 API 参考：https://klymax402.com/llms-full.txt
• 实时统计：https://klymax402.com/stats

许可证

MIT