Web Scraper X402

Web Scraper to Markdown API

あらゆる URL からクリーンな Markdown を抽出します。ナビゲーション、広告、スクリプトを除去し、構造化されたコンテンツを返します。RAG パイプラインと AI リサーチエージェント向けに構築されています。x402 による従量課金（Base L2 上の USDC）で、API キーもサインアップも不要です。レート制限の壁もありません。

klymax402 マーケットプレイスの一部です。AI エージェント向けの x402 マイクロペイメント API を 100 種類提供し、1 つのウォレットで Base 上の USDC を利用できます。

クイックスタート -- MCP

MCP クライアントの設定（Claude Desktop、Cursor、ElizaOS など）に追加します。

{
  "mcpServers": {
    "web-scraper": {
      "url": "https://web-scraper.api.klymax402.com/mcp"
    }
  }
}

クイックスタート -- HTTP (x402)

curl "https://web-scraper.api.klymax402.com/api/scrape?url=https://example.com"
# -> 402 Payment Required, with an x402 payment challenge in the response body

x402 対応クライアント（@x402/fetch、x402-agent-tools、ATXP）なら、402 -> 署名 -> 再試行のサイクルを自動的に処理できます。

ツール

ツール	メソッド	パス	価格	説明
web_scrape_to_markdown	GET	/api/scrape	$0.012	URL をスクレイピングしてクリーンな Markdown に変換
web_scrape_batch	POST	/api/scrape/batch	$0.05	最大 10 個の URL を一括スクレイピング

web_scrape_to_markdown

完全な JS レンダリングで URL をスクレイピングしてコンテンツを抽出し、クリーンな Markdown として返します。Firecrawl のスクレイピングの代替として、コストを 2.5 分の 1 に抑えられます。ナビゲーション、広告、スクリプト、定型コンテンツを除去するため、RAG パイプラインや AI リサーチエージェントに最適です。

パラメーター

名前	型	必須	説明
url	string	yes	スクレイピングする URL（例：https://example.com/article）

レスポンスの例：

{"title":"How to Scale APIs","description":"A guide to...","content":"# How to Scale APIs\n\nScaling requires...","wordCount":1250,"charCount":7800,"url":"https://blog.example.com/scale-apis"}

使用する場面：記事の要約、RAG コーパスの構築、Web ソースからのトピック調査、ドキュメントページからのデータ抽出に使用します。LLM 入力用に Web ページをスクレイピングしてコンテンツを抽出する必要があるワークフローに不可欠です。Firecrawl のスクレイピングからそのまま置き換えられます。

適さない用途：スクリーンショット（capture_screenshot を使用）、SEO 監査（seo_audit_page を使用）、技術スタックの検出（website_detect_tech_stack を使用）、Web 検索（web_search_query を使用）。

web_scrape_batch

複数の Web ページ（最大 10 個）から一度にクリーンなコンテンツを抽出する場合に使用します。各 URL について、web_scrape_to_markdown と同じ構造化された Markdown 出力を返します。

パラメーター

名前	型	必須	説明
urls	array	yes	URL の配列（最大 10 個）

レスポンスの例：

{"results":[{"url":"https://a.com","title":"Page A","wordCount":800},{"url":"https://b.com","title":"Page B","wordCount":1200}],"summary":{"total":2,"totalWords":2000,"failed":0}}

使用する場面：リサーチコーパスの構築、競合他社のページ間でのコンテンツ比較、ドキュメントの一括抽出に使用します。1 つのワークフローで 3 個以上の URL を処理する場合に不可欠です。

適さない用途：単一の URL（web_scrape_to_markdown を使用）、SEO 比較（seo_audit_batch を使用）。

エージェント向けプロンプトの例

• 「完全な JS レンダリングで URL をスクレイピングしてコンテンツを抽出し、クリーンな Markdown として返す」
• 「複数の Web ページ（最大 10 個）から一度にクリーンなコンテンツを抽出する」

決済

• プロトコル：x402 -- HTTP ネイティブの従量課金。サインアップも API キーも不要
• ネットワーク：Base L2（eip155:8453）
• 資産：USDC
• ファシリテーター：Coinbase CDP（プライマリ）、PayAI（フォールバック）
• ATXP 経由でも利用できます（OAuth でラップされた x402、RFC 9728 の保護リソースメタデータに対応）

klymax402 の一部

AI エージェント向けの x402 マイクロペイメント API を 100 種類提供します。1 つのウォレットで Base 上の USDC を利用でき、サインアップは不要です。

• カタログ：https://klymax402.com/llms.txt
• API リファレンス全文：https://klymax402.com/llms-full.txt
• ライブ統計：https://klymax402.com/stats

ライセンス

MIT