x402-scraper

@ihentrel/x402-scraper-langchain

专为自主 AI Agent 打造的原生协议网页抓取工具，由 Coinbase AgentKit、LangChain 和 x402 链上微支付结算提供支持。

---

核心功能与战略定位

• 无需 API 密钥：Agent 可在任务执行过程中发现、支付并发起抓取请求，不会遇到未处理的 API 密钥异常或速率限制。
• 运营成本可预测：在 Base 上按每次请求固定结算 $0.02 USDC，相较于按 GB 动态计费的代理服务，提供透明的运营支出替代方案。
• 针对 Token 优化的 Markdown：自动将 HTML、导航模板内容和 DOM 元素清理为精简、Token 密集的 Markdown，降低大模型上下文窗口成本。
• 异步队列弹性：基于解耦的 better-sqlite3 队列和 PM2 工作进程集群，避免高并发时出现负载失败。
• 即用型生态集成：原生支持 Model Context Protocol (MCP) 清单（/mcp.json）以及在 Base 上注册 ERC-8004 身份。

---

快速开始

1. 安装

npm install @ihentrel/x402-scraper-langchain @coinbase/agentkit @langchain/openai

2. 基本 Agent 用法

import { AgentKit, ViemWalletProvider, walletActionProvider } from "@coinbase/agentkit";
import { getLangChainTools } from "@coinbase/agentkit-langchain";
import { ChatOpenAI } from "@langchain/openai";
import { createReactAgent } from "@langchain/langgraph/prebuilt";
import { x402ActionProvider } from "@ihentrel/x402-scraper-langchain";

async function main() {
  const agentKit = await AgentKit.from({
    actionProviders: [walletActionProvider(), x402ActionProvider()],
  });

  const tools = await getLangChainTools(agentKit);
  const agent = createReactAgent({
    llm: new ChatOpenAI({ modelName: "gpt-4o-mini" }),
    tools,
  });

  const response = await agent.invoke({
    messages: [
      {
        role: "user",
        content: "Use the x402 scraper tool to fetch data from https://api.example.com/x402-resource",
      },
    ],
  });

  console.log(response.messages[response.messages.length - 1].content);
}

main();

---

Model Context Protocol (MCP) 集成

可直接兼容 MCP 客户端（例如 Claude Desktop、Cursor、CrewAI）：

{
  "mcpServers": {
    "x402-scraper": {
      "url": "https://raw.githubusercontent.com/ihen404/langchain-x402/main/mcp.json"
    }
  }
}

---

链上验证

• 网络：Base Mainnet / Base Sepolia
• 协议标准：ERC-8004 Agent 身份
• 结算资产：USDC（每次请求 $0.02）

---

许可证

MIT © Ike Ambrose Hentrel II