x402-scraper

@ihentrel/x402-scraper-langchain

Coinbase AgentKit、LangChain、およびx402 オンチェーンマイクロ決済を活用した、自律型 AI エージェント向けに設計されたプロトコルネイティブなウェブスクレイピングユーティリティツールです。

---

主な機能と戦略的な位置づけ

• API キー不要：エージェントは、未処理の API キー例外やレート制限を気にすることなく、タスクの実行中にスクレイピングリクエストを検出し、支払い、実行できます。
• 予測可能な運用コスト：Base 上でリクエストごとに一律 $0.02 USDC で決済でき、従量課金制のプロキシサービスに代わる透明性の高い運用コストを提供します。
• トークン最適化済みの Markdown：HTML、ナビゲーションの定型要素、DOM 要素を自動的に除去して、クリーンでトークン密度の高い Markdown に変換し、LLM のコンテキストウィンドウにかかるコストを削減します。
• 非同期キューによる耐障害性：疎結合な better-sqlite3 キューと PM2 ワーカーメッシュを基盤としており、高い同時実行性の下でのペイロード障害を防ぎます。
• エコシステムに対応：Model Context Protocol (MCP) マニフェスト（/mcp.json）と、Base 上の ERC-8004 アイデンティティ登録をネイティブにサポートします。

---

クイックスタート

1. インストール

npm install @ihentrel/x402-scraper-langchain @coinbase/agentkit @langchain/openai

2. 基本的なエージェントの使用方法

import { AgentKit, ViemWalletProvider, walletActionProvider } from "@coinbase/agentkit";
import { getLangChainTools } from "@coinbase/agentkit-langchain";
import { ChatOpenAI } from "@langchain/openai";
import { createReactAgent } from "@langchain/langgraph/prebuilt";
import { x402ActionProvider } from "@ihentrel/x402-scraper-langchain";

async function main() {
  const agentKit = await AgentKit.from({
    actionProviders: [walletActionProvider(), x402ActionProvider()],
  });

  const tools = await getLangChainTools(agentKit);
  const agent = createReactAgent({
    llm: new ChatOpenAI({ modelName: "gpt-4o-mini" }),
    tools,
  });

  const response = await agent.invoke({
    messages: [
      {
        role: "user",
        content: "Use the x402 scraper tool to fetch data from https://api.example.com/x402-resource",
      },
    ],
  });

  console.log(response.messages[response.messages.length - 1].content);
}

main();

---

Model Context Protocol (MCP) との統合

MCP クライアント（例：Claude Desktop、Cursor、CrewAI）ですぐに利用できます。

{
  "mcpServers": {
    "x402-scraper": {
      "url": "https://raw.githubusercontent.com/ihen404/langchain-x402/main/mcp.json"
    }
  }
}

---

オンチェーン検証

• ネットワーク：Base Mainnet / Base Sepolia
• プロトコル標準：ERC-8004 エージェントアイデンティティ
• 決済資産：USDC（$0.02 / リクエスト）

---

ライセンス

MIT © Ike Ambrose Hentrel II