acrawl

  █████╗  ██████╗██████╗  █████╗ ██╗    ██╗██╗     
 ██╔══██╗██╔════╝██╔══██╗██╔══██╗██║    ██║██║     
 ███████║██║     ██████╔╝███████║██║ █╗ ██║██║     
 ██╔══██║██║     ██╔══██╗██╔══██║██║███╗██║██║     
 ██║  ██║╚██████╗██║  ██║██║  ██║╚███╔███╔╝███████╗
 ╚═╝  ╚═╝ ╚═════╝╚═╝  ╚═╝╚═╝  ╚═╝ ╚══╝╚══╝ ╚══════╝

操作と観察を行うブラウザー自動化エージェントです。 ナビゲート、クリック、抽出に加え、ネットワークトラフィックの調査、コンソールエラーのデバッグ、パフォーマンスのプロファイリング、アクセシビリティの監査も行えます。Rust 製の単一バイナリです。

Rust 製の単一バイナリ。DevTools の全機能を可視化。43 個のツール。25 種類の LLM プロバイダー。MCP サーバーを内蔵。

acrawl を選ぶ理由

多くのブラウザーエージェントができるのは、ナビゲートとクリックまでです。acrawl はさらに、ネットワークリクエストの調査、コンソールエラーの分析、ページパフォーマンスの測定、アクセシビリティの監査、ネットワーク呼び出しのインターセプトも行えます。DevTools のあらゆる機能を、エージェントのファーストクラスツールとして利用できます。

Rust 製の単一バイナリとして提供されます。Python ランタイムも Node ランタイムも Docker も必要ありません。任意のサーバーや CI パイプラインに配置して目標を説明すれば、エージェントが訪問先、クリックする場所、調査する内容、完了のタイミングを判断します。

• 単一バイナリで、ランタイムは不要です。 cargo build --release で自己完結型の実行ファイルが生成されます。Python も Node ランタイムも不要です。ブラウザー自動化に必要なのは Rust と Chromium のダウンロードだけです。
• 操作と観察を行います。 エージェントは DevTools の全機能をファーストクラスツールとして利用できます。タイミング情報付きのネットワークリクエストの調査、コンソールログの分析と重複排除、WebSocket メッセージのストリーミング、ページパフォーマンス（TTFB、リソースの内訳）の測定、Cookie とブラウザーストレージの監査、JS/CSS カバレッジの測定、axe-core による WCAG アクセシビリティ監査、ネットワーク呼び出しのインターセプトやモックが可能です。これらすべてを公開するエージェントフレームワークは、ほかにありません。
• 可能なところは確定的に、必要なところは AI で。 ループ、条件分岐、並列ブランチを JSON スクリプトとして定義し、LLM を呼び出さずに実行できます。ページが予想外の動作をした場合は、エージェントに切り替えます。両方の長所を活用できます。
• コードは不要です。 目標を平易な言葉で説明するだけで、エージェントが計画を立て、ナビゲートし、情報を抽出します。
• スマートな取得。 静的ページは HTTP 経由で高速に配信します。JavaScript やインタラクションが必要な場合は、acrawl が JS フレームワークのマーカー（__next_data__、__nuxt、__vue、ng-app、React のルート）、認証リダイレクト、短い <noscript> 本文を検出し、ヘッドレスブラウザーに自動的にエスカレーションします。
• サブエージェントによる並列処理。 独立した状態とステップ予算を持つ別々のブラウザータブで、子エージェントを並行して実行できます。URL を管理するレジストリにより、兄弟エージェントが同じページを重複してクロールすることを防ぎます。
• MCP クライアントとサーバー。 Model Context Protocol サーバー経由でカスタムツールを追加できます。または、逆に acrawl mcp を実行して、38 個のブラウザーおよび DevTools ツールと run_goal を Claude Code、Cursor、VS Code、Zed、その他 13 個のクライアントに公開できます。
• 25 種類の LLM プロバイダー。 Anthropic、OpenAI、Google Gemini、DeepSeek、AWS Bedrock、Azure OpenAI、Vertex AI、GitHub Copilot、Groq、Mistral、xAI、Cohere、Alibaba DashScope、OpenRouter などに対応しています。OpenAI 互換のエンドポイントなら、独自のものも利用できます。

どのように異なりますか？

AI ウェブエージェントおよびスクレイピングツールとの比較

注：

• browser-use（GitHub スター 85k 以上）：Python + Playwright、DOM + スクリーンショットに対応し、LiteLLM 経由で GPT/Claude/Gemini/Ollama をサポートします。WebVoyager のスコアは 89.1％です。単一バイナリではなく、Python と pip install が必要です。すべての操作で LLM を呼び出します。1 ステップあたり 2～5 秒、1 タスクあたり約 $0.02～0.30 かかります。クラウドプランではステルス機能が追加されます。セルフホスト版は基本的な Playwright のみです。
• Stagehand（Browserbase、スター 21k 以上）：TypeScript + CDP（v3）を使用し、決定論的な Playwright と AI プリミティブ（act()、extract()、observe()）を組み合わせます。アクションキャッシュにより、LLM を再度呼び出さずに成功したクリックを再利用できます。Node が必要で、本番環境では Browserbase のクラウドホスティングも必要です。
• Skyvern（スター 21k 以上、Apache 2.0）：ビジョンを優先する方式（スクリーンショットのみで、DOM は使用しません）を採用し、DOM ツールでは対応が難しいレガシーポータルや政府機関のフォームを処理できます。ノーコードのクラウド UI も利用できます。各ステップでビジョンモデルのトークンが必要となり、1 タスクあたり約 $0.10～0.50 かかります。WebVoyager のスコアは 85.85％です。
• Firecrawl（スター 82k 以上）：マネージド型のスクレイピング API です。LLM ですぐに使える Markdown、JSON 抽出、サイト全体のクロールを提供します。エージェント型ツールではなく、複数ステップの操作は最小限です。公式の MCP サーバーが付属しています。料金は月額 $19 からで、ページ単位で課金されます。
• Playwright MCP（Microsoft、スター 29k 以上）：アクセシビリティツリーを介してブラウザー操作を公開する MCP サーバーです。操作は 100 ミリ秒未満で、ビジョントークンは不要です。独自の推論機能を備えるのではなく、LLM クライアントのブラウザーを操作するため、自律的な目標ナビゲーションはできません。GitHub Copilot Agent で使用されています。

ネイティブの LLM プロバイダーのブラウジングとの比較

ほとんどの AI プロバイダーは何らかのブラウジング機能を提供していますが、プログラムによるウェブ自動化ではなく、会話形式の情報検索を目的に設計されています。主な制約は次のとおりです。

注：

• ChatGPT Agent（OpenAI、2025 年 7 月）：独自の Chromium インスタンスを備えた、サンドボックス化されたクラウド仮想マシン上で動作します。ブラウジング、クリック、フォーム入力ができますが、機密性の高い操作（購入、ログイン）ではユーザーの確認のために一時停止します。調査クエリ向けの高速なテキストブラウザーと、操作向けのビジュアルブラウザーという 2 つのモードを使用します。ブラウザー内でコードを実行したり、拡張機能をインストールしたり、ローカルファイルシステムにアクセスしたりすることはできません。プロンプトインジェクションの影響を受ける可能性があります。Plus/Pro/Business のサブスクライバーが利用できます。
• ChatGPT Atlas（OpenAI、2025 年 10 月）：サイドバーに ChatGPT が統合されたフル機能の Chromium ブラウザーです。エージェントモードは ChatGPT Agent と同じサンドボックス化されたクラウド VM を操作するため、主な制限も同じです。
• Claude Computer Use（Anthropic API、2024 年 10 月からベータ版）：ブラウザーに限らず、あらゆるデスクトップアプリケーションを操作するためのスクリーンショット＋マウス／キーボード API です。ビジョンのみで、DOM にはアクセスできません。開発者はコンピューティング環境全体（通常は Xvfb と Firefox を備えた Docker コンテナー）を用意し、管理する必要があります。すぐに使えるバイナリではありません。本番環境で運用するには、かなりのインフラストラクチャが必要です。
• Claude in Chrome（Anthropic の Chrome 拡張機能、2025 年 11 月以降ベータ版）：実際の Cookie とログイン情報を使い、既存の Chrome セッション内で Claude を操作できます。Max プランのサブスクライバーが利用できます。オープン API ではなく、プログラムから操作することはできません。個人の対話型タスクには適していますが、バッチ自動化には向いていません。
• Gemini / Deep Research（Google）：ブラウジングは、ライブブラウザーセッションではなく、Google Search API の呼び出しに基づいています。Deep Research は多数の検索結果を統合しますが、ページを操作する（クリック、フォーム入力、動的な移動）ことはできません。Project Mariner（実験的なコンピューター操作）は、別の限定的なリサーチプレビューです。
• Copilot / Edge（Microsoft）：Edge の Copilot Mode は Bing による検索を使用し、ページを移動する機能も一部備えています。実環境でのテストでは、レイテンシーが高く（複数ページの比較タスクで 6 分以上）、ユーザー確認のために頻繁に中断されることが示されています。開発者向け API ではありません。

クイックスタート

インストール

Linux / macOS（x64 / ARM64）：

curl -fsSL https://raw.githubusercontent.com/Mingye-Lu/AgenticCrawler/main/install.sh | bash

Windows（x64、PowerShell）：

irm https://raw.githubusercontent.com/Mingye-Lu/AgenticCrawler/main/install.ps1 | iex

最新のバイナリをダウンロードして SHA256 チェックサムを検証し、ステルスブラウザー自動化のために CloakBrowser をセットアップします。ブラウザー機能には Node.js 20+ が必要です。

acrawl は起動時に更新を確認し、新しいバージョンが利用可能になると通知を表示します。

git clone https://github.com/Mingye-Lu/AgenticCrawler.git
cd AgenticCrawler
cargo build --release

# Install CloakBrowser (required for browser automation — binary auto-downloads on first use)
npm install

acrawl Bridge 拡張機能を使うと、ヘッドレスの CloakBrowser インスタンスではなく、実際のブラウザー（セッション、Cookie、既存の拡張機能を含む）を acrawl で操作できます。

1. Chrome ウェブストアから acrawl Bridge をインストールし、Chrome に追加をクリックします。同じ掲載ページは Edge、Brave、Arc、Vivaldi、Opera でも利用できます。
2. acrawl REPL で /extension を実行してブリッジを起動し、ペアリングコードを表示したら、そのコードを拡張機能のポップアップに入力します。この操作は初回のみ必要です。

ストアを使わずにインストールする場合（たとえば、未リリースのビルドを実行する場合）は、extension/README.mdをご覧ください。セットアップの詳細がすべて記載されています。

エージェントスキル（任意）

コーディングエージェントから acrawl を操作する場合（acrawl mcp経由）、エージェントが直接ツール、スクリプト、run_goalをいつ使うか、またネットワーク／コンソール／Cookie ツールでどのようにデバッグするかを把握できるよう、acrawl-mcp スキルをインストールします。

npx skills add Mingye-Lu/AgenticCrawler

これはコミュニティ製のskills CLI を使用します。この CLI はインストール済みのエージェント（Claude Code、Cursor、Codex、Gemini CLI、OpenCode など多数）を検出し、それぞれのスキルディレクトリにスキルをコピーします。ユーザーレベルでグローバルにインストールするには -g を、単一のエージェントを指定するには -a claude-code を追加します。

Node の使用を避けたい場合は、acrawl mcp install --client claude-code --skill を実行すると、MCP サーバーの設定と同じスキルのインストールを一度に行えます（クイックインストールを参照）。

設定

# Set up your LLM provider (interactive prompt)
./target/release/acrawl auth anthropic   # or: openai, other

認証情報は ~/.acrawl/credentials.json に保存されます。ACRAWL_CONFIG_HOME で設定ディレクトリを上書きできます。

実行

# Interactive REPL
./target/release/acrawl

# One-shot mode
./target/release/acrawl prompt "scrape all book titles and prices from books.toscrape.com"

# Resume a saved session
./target/release/acrawl --resume session.json /status /compact

使用例

商品カタログをスクレイピングする：

acrawl > scrape all book titles, prices, and ratings from books.toscrape.com

エージェントはサイトに移動してページを読み取り、データを抽出し、全50ページをページネーションで巡回して、構造化された JSON を返します。

フォームに入力して送信する：

acrawl > go to example.com/contact, fill in name "Jane Doe", email "[email protected]",
         message "Hello", and submit the form

エージェントはフォームフィールドを特定して入力し、送信ボタンをクリックして、結果を確認します。

価格を監視する：

acrawl > check the current price of "Rust in Action" on books.toscrape.com

1ページのみを抽出します。エージェントは不要なページ移動をせずにページを取得して読み取り、価格を返します。

JavaScript でレンダリングされたページから抽出する：

acrawl > get all repository names and star counts from github.com/trending

ここでは静的 HTTP は機能しません。acrawl は React／Next.js のマーカーを検出し、JavaScript をレンダリングするためにヘッドレスブラウザーへ自動的に切り替えます。

複数ページの並列クロール：

acrawl > scrape the title, author, and price of every book across all 50 pages on books.toscrape.com.
         Fork a sub-agent for each page to speed this up.

エージェントは最大5つの並行サブエージェントを起動し、それぞれが独自のブラウザータブを使ってページを並列でクロールします。すべてのサブエージェントが完了すると、結果が統合されます。

機能

43種類のツールを備えたツールボックス

ナビゲーション

コンテンツ形式

navigate ツールの format パラメーターで、ページの返却形式を指定します。

fit_markdown は 2 段階で処理します。

1. ハードブロックの削除：class または id 属性に次の文字列が含まれる要素を、ただちに削除します：nav、footer、header、sidebar、ads、comment、promo、advert、social、share。

2. スコアに基づくプルーニング：残りの要素をスコアリングし、0.48 未満の要素を削除します。スコアは次のとおりです。

   0.4 × text_density
   + 0.2 × (1 − link_density)
   + 0.2 × tag_weight
   + 0.1 × class_id_score
   + 0.1 × ln(text_length + 1)
   

   タグの重み：article = 1.5 · h1 = 1.2 · h2 = 1.1 · h3/p/section = 1.0 · h4 = 0.9 · h5/table = 0.8 · h6 = 0.7 · span = 0.3 · div/li/ul/ol = 0.5。

次の場合は、fit_markdown ではなく markdown を使用してください： sidebar、nav などの名前が付いた要素内に重要なコンテンツがある場合。たとえば、メタデータパネル、関連記事へのリンク、サイドバーの div に保存された著者情報などです。

fit_markdown がすべてのコンテンツをプルーニングした場合（結果が空の場合）、ツールは自動的にプレーンテキストにフォールバックします。

操作

コンテンツの抽出

DevTools と観測

エージェント制御

スクリプト管理

page_state リファレンス

操作ツール（click、click_at、fill_form、hover、press_key、go_back、scroll、switch_tab、select_option、set_device、refresh）はすべて、page_state オブジェクトを返します。次の2種類があります。

完全な page_state：ある URL での最初の操作後、または変更が多すぎて差分を表示できない場合に返されます。

url: https://example.com/page
title: Page Title
page_map: |
  - main "" [ref=e1]:
    - navigation "Primary" [ref=e2]:
      - link "Docs" [ref=e3]:
        /url: https://example.com/docs
    - heading "Platform" [level=1] [ref=e4]:
    - button "Get Started" [ref=e5]:
    - iframe "Demo" [ref=e6]:
      - button "Play" [ref=e7]:

差分 page_state：同じ URL での後続の操作時に返され、変更された内容のみが表示されます。

url: https://example.com/page
title: Page Title
changed: true
changes: |
  + [ref=e5] added:
    - dialog "Confirm" [ref=e5]:
      - button "OK" [ref=e6]:
      - button "Cancel" [ref=e7]:
  - [ref=e3] removed:
    - button "Old Button" [ref=e3]:
  ~ button "Submit" [ref=e2]: [] → [disabled]

変更がない場合は、{ "url": "...", "title": "...", "changed": false } が返されます。ブリッジでエラーが発生した場合は、{ "url": "unknown", "title": "unknown", "page_map": null } が返されます。操作後の page_state は、変更された内容のみを示す YAML のツリー差分を返します。変更が多い場合は、代わりに完全な YAML スナップショットが返されます。

サブエージェントの並列処理

エージェントは子エージェントをフォークして、複数のページを同時に巡回できます。各子エージェントには、独自のブラウザータブ、ステップ予算、独立した状態が割り当てられます。

URL の割り当て

子エージェントを起動する前に、その対象範囲が共有の割り当てレジストリに登録されます。これにより、兄弟エージェントが同じ URL を同時に巡回するのを防ぎます。

ルール：

• 先着順：2つ目のエージェントが、すでに兄弟エージェントに割り当てられている URL を割り当てようとすると、所有エージェント名を示す競合メッセージとともにフォークがただちに失敗します。親 LLM はこの競合を確認し、対象範囲を調整できます。
• 3種類の対象範囲： SinglePage（正確な URL）、UrlList（全件成功か全件失敗となる一括処理）、UrlPattern（正規表現。既存のすべての割り当てとの重複を確認します）。
• RAII ライフタイム：割り当ては子エージェントの存続期間中保持されます。子エージェントの終了時、キャンセル時、または親エージェントによるセットアップの中止時に、自動的に割り当てが解除され、URL が再び利用可能になります。
• 種類をまたいだ照合：正確な URL は、それに一致する既割り当ての正規表現と競合します。また、新しい正規表現は、それに一致する既割り当ての正確な URL と競合します。
• リスト内の重複排除：同じ URL が UrlList に複数回含まれている場合、通知なしで重複が排除されます（LLM が重複を生成することがあるためです）。

割り当ては自動的に行われ、navigate 内ではなく、子エージェントの起動前に fork 内で実行されます。エージェントが明示的に呼び出す必要はありません。

スマートなフェッチ振り分け

すべての navigate 呼び出しは、2段階のフェッチルーターを経由します。

1. まず HTTP — reqwest ベースの高速フェッチ（タイムアウト 30 秒、最大 10 回のリダイレクトを追跡）。
2. 自動エスカレーション — 以下のいずれかが検出されると、リクエストはヘッドレスブラウザーで透過的に再実行されます。
   • HTTP 403、429、または 503 のレスポンス
   • JS フレームワークのマーカー：__next_data__、__nuxt、__vue、ng-app、_react、data-reactroot
   • 認証リダイレクト：/login、/signin、/auth、/oauth、accounts.google.com を含む URL
   • <noscript> タグを含む、レスポンス本文が短い場合（500 文字未満）
   • 空の SPA シェルの検出（複数のシグナルによるスコアリング）：埋め込みデータのないフレームワークのアセットパス（/_next/static/、/_nuxt/、ng-version=）、空のマウントポイントの div、JavaScript の有効化を促す noscript メッセージ、バンドラーのハッシュパターン、構造的なシグナル（セマンティック要素がなく、表示テキストがまばら）。埋め込みデータブロブ（__NEXT_DATA__、window.__NUXT__、data-reactroot）を含むページは明示的に除外されます。これらのページのコンテンツは、すでにサーバー側でレンダリングされているためです。

--no-headless / --headed が設定されている場合、すべてのフェッチはブラウザー経由で直接実行されます。

25 の LLM プロバイダー

カスタム／ローカルプロバイダー

OpenAI 互換のエンドポイント（Ollama、LMStudio、vLLM、ローカルプロキシなど）を使用するには：

acrawl auth other

ベース URL と任意の API キーを入力するよう求められます。例：

これにより、auth_method: "api_key" と base_url を含む credentials.json エントリーが作成されます。サーバーで API キーが不要な場合は、空欄のままにしてください。

モデルは provider/model-id 形式を使用します：anthropic/claude-sonnet-4-6、openai/gpt-4o、amazon-bedrock/anthropic.claude-sonnet-4-6-20250514-v1:0 など。

標準以外の認証を使用するプロバイダー

GitHub Copilot、デバイスコードフロー：

acrawl auth copilot

1. acrawl は URL（https://github.com/login/device）と 8 文字のユーザーコードを表示し、ブラウザーを自動的に開こうとします。
2. GitHub のページでコードを入力し、アプリを認証します。
3. acrawl は認証が完了するまで GitHub にポーリングし、その後 GitHub トークンを有効期間の短い Copilot API トークンと交換して、credentials.json に保存します。

API キーは不要で、すべての手順は対話形式で進みます。認証に成功すると、認証情報は自動的に保存されます。

GitLab Duo、API キー：

acrawl auth gitlab

GitLab Personal Access Token（PAT）の入力を求められます。トークンを貼り付けて Enter キーを押してください。ブラウザーへのリダイレクトは不要です。注：GitLab Duo はツール呼び出しをサポートしていません。

Amazon Bedrock、AWS 認証情報：

acrawl auth amazon-bedrock

AWS Access Key ID、AWS Secret Access Key、リージョン（デフォルト：us-east-1）の入力を求められます。これらは credentials.json に直接保存され、AWS SigV4 によるリクエストの署名に使用されます。

Azure OpenAI：

acrawl auth azure

リソース名（例：myresource）、デプロイ名（例：gpt-4o）、API キーの入力を求められます。

対話型 TUI

デフォルトのインターフェースは、次の機能を備えたフルターミナル UI です。

• Markdown のレンダリング（シンタックスハイライトとストリーミング出力に対応）
• スラッシュコマンドのオーバーレイ — / を入力すると、Tab 補完付きですべてのコマンドが表示されます
• モデル選択 — /model を実行すると、プロバイダーのカテゴリ別にまとめられた検索可能なリストが開きます
• 認証モーダル — /auth を実行すると、プロバイダーの設定を対話形式で進められます
• セッションヘッダー — 現在のモデル、セッション ID、コスト、コンテキスト使用量がリアルタイムで表示されます
• デバッグモード — /debug を実行すると、トランスクリプト内の生のツール呼び出しの入出力を切り替えられます
• 推論の強度 — 推論モデル（o3、o4-mini）で Ctrl+T を押すと、高・中・低を切り替えられます

キー操作：

標準出力が TTY に接続されていない状態（パイプやリダイレクトなど）で acrawl を実行すると、1 回だけ実行する場合は acrawl prompt、セッションを維持する場合は acrawl --resume を案内するエラーが表示され、終了します。

セッション管理

• 自動保存 — 終了時にセッションが自動的に保存されます。
• 再開 — --resume session.json を指定すると、会話を再読み込みします。再開時に使用できるスラッシュコマンド（/status、/compact、/cost、/config、/version、/export、/help、/clear）は、コマンドラインに追加できます。
• エクスポート — /export [file] を実行すると、人が読みやすい Markdown 形式の会話記録が出力されます。
• 自動圧縮 — 累積入力トークン数がしきい値（デフォルトは 200K）を超えると、acrawl がセッションを圧縮します。
  • そのまま保持される内容： 直近約 80K トークン分のメッセージ（最低でも常に 2 件）。ツール呼び出しのペアは一体として保持され、対応する ToolUse がない ToolResult が残ることはありません。
  • メタデータとして保持される内容： メッセージ数、重複を除いたツールの一覧、直近 3 件のユーザーリクエスト（各 160 文字）、保留中の作業項目（"todo"、"next"、"pending"、"follow up"、"remaining" を含むメッセージから推定）、最大 10 件の主要 URL、および直近の空でないメッセージ（「現在の作業」として扱われます）。
  • ツール出力の削減： 内側の 40K トークンウィンドウより古いツール出力は、保持対象のウィンドウを計算する前に 2,000 文字に切り詰められ、[… output truncated from N chars] マーカーが付加されます。
  • 要約の生成： デフォルトではテンプレートベースで生成されます（LLM 呼び出しはありません）。settings.json で compaction_llm_summarization: true を設定すると、LLM による要約が有効になります。この場合、削除されたメッセージがモデルに送られ、その出力が要約として使われます。LLM が失敗した場合はテンプレートにフォールバックします。
  • 継続用プロンプト： 圧縮後のセッションには、要約を繰り返したり質問したりせず、エージェントがそのまま作業を再開するよう指示するシステムメッセージが先頭に追加されます。
  • ブラウザーの状態には影響しません。 圧縮で変更されるのはメッセージ履歴のみです。現在のブラウザータブ、URL、Cookie、ページの状態は変わりません。
• 複数セッション — /session list でセッションを一覧表示し、/session switch <id> で切り替えます。

ツールの許可リスト

--allowedTools を使用すると、エージェントが呼び出せるツールを制限できます（カンマ区切りで指定します。このフラグは繰り返し指定できます）。

acrawl prompt "scrape titles" --allowedTools navigate,read_content,screenshot

--allowedTools を省略すると、43 個すべてのツールが許可されます。読み取り専用ツールだけを使ったクロールに制限する場合や、サブエージェントの並列処理が不要な場合に fork／wait_for_subagents を除外する場合に便利です。

MCP による拡張

acrawl は Model Context Protocol サーバーをクライアントとしてサポートしており、カスタムツールを使ってエージェントを拡張できます。MCP ツールは server_name__tool_name という名前空間で管理され、組み込みの 43 個のツールと並んで使用できます。

サポートされるトランスポート：stdio、SSE、HTTP、WebSocket。

MCP サーバー（acrawl をツールとして公開）

acrawl mcp を実行すると、組み込みの MCP サーバーが起動し、acrawl のブラウザー自動化機能が Claude Code、Cursor、VS Code、Zed、JetBrains、TRAE、Gemini CLI などの外部エージェントや、MCP 互換クライアントに公開されます。

サーバーは、3 つのモードで40 個のツールを提供します。

ブラウザー直接操作ツール（32 個） — クライアントが独自に処理を組み立てる場合に使う、きめ細かな操作ツールです： navigate、click、click_at、fill_form、page_map、read_content、screenshot、go_back、get_page_info、scroll、wait、select_option、execute_js、hover、press_key、switch_tab、list_resources、save_file、set_device、refresh、list_network_activity、inspect_request、list_page_logs、inspect_log、list_websocket_activity、inspect_websocket、get_page_performance、inspect_cookies、inspect_storage、measure_coverage、audit_accessibility、intercept_network

スクリプトツール（7 個） — ステップごとの LLM 呼び出しなしで、複数ステップの自動化を決定論的に実行します： run_script、save_script、list_scripts、read_script、wait_for_scripts、script_status、cancel_script

自律型エージェント（1 個） — クロールタスク全体を委任します：

• run_goal — 高レベルのクロール目標を自律的に実行します。エージェントは独自の LLM ループを使って計画を立て、ページを移動し、データを抽出します。モデルを設定した ~/.acrawl/credentials.json が必要です。

トランスポート： このリリースでは stdio のみ（SSE／HTTP／WebSocket は利用できません）。

クイックインストール

acrawl mcp install

IDE を自動検出し、設定する IDE を切り替えられる（選択は Space、確定は Enter）対話型インストーラーです。IDE ごとに適切な設定を書き込みます。グローバル（ユーザーレベル）とプロジェクトレベルのスコープに対応しています。

対応クライアント：Claude Code、Claude Desktop、Cursor、Windsurf、VS Code (Copilot)、OpenCode、Zed、TRAE、JetBrains IDEs、Gemini CLI、Qwen Code、Codex CLI、Hermes、OpenClaw、Goose、Crush、Aider。

このインストーラーでは、スキルを読み込むクライアント（Claude Code、Cursor、OpenCode、Codex CLI、Gemini CLI）向けに、同梱の acrawl-mcp エージェントスキルをインストールすることもできます。非対話型の場合は --skill を指定します：acrawl mcp install --client claude-code --skill。acrawl mcp uninstall --client claude-code --skill を実行すると削除できます。

手動設定

手動で設定する場合は、IDE の MCP 設定ファイルに次の内容を追加してください。

{
  "mcpServers": {
    "acrawl": {
      "command": "acrawl",
      "args": ["mcp"]
    }
  }
}

{
  "servers": {
    "acrawl": {
      "command": "acrawl",
      "args": ["mcp"]
    }
  }
}

{
  "mcp": {
    "acrawl": {
      "type": "local",
      "command": ["acrawl", "mcp"]
    }
  }
}

{
  "context_servers": {
    "acrawl": {
      "command": {
        "path": "acrawl",
        "args": ["mcp"],
        "env": {}
      },
      "settings": {}
    }
  }
}

または、Claude Code CLI から直接設定できます。

claude mcp add acrawl -- acrawl mcp

ブラウザツールは、呼び出し間で永続セッションを共有します。run_goal は独立したエージェントとブラウザを作成します。

要件： 38 個のブラウザツールとスクリプトツールは、設定なしで動作します。run_goal では、内部 LLM 用に ~/.acrawl/credentials.json（acrawl auth で設定）が必要です。

MCP から実際のブラウザを使用する

MCP サーバーは browser_backend を尊重するため、MCP クライアントは同梱のヘッドレスブラウザの代わりに、ログイン済みの独自ブラウザを操作できます。

acrawl config set browser_backend extension   # route MCP browser tools through the extension

ブリッジサーバーは最初のブラウザツール呼び出し時に起動し、すでにペアリング済みの拡張機能が接続するまで extension_bridge_connect_timeout_secs（デフォルトは 3）秒間待機します。まだ拡張機能がペアリングされていない場合、呼び出しはペアリングコードをすぐに返します。接続されない場合、ツール呼び出しは CloakBrowser に暗黙にフォールバックするのではなく、対処方法がわかるエラーを返します。拡張機能モードは認証済みセッションを再利用するためのものであり、別のブラウザに切り替えるのは誤解を招くためです。

Chrome 拡張機能が提供できるプロセスは一度に 1 つだけです。acrawl REPL がすでにブリッジを使用している場合、MCP サーバーはポートを奪い合うのではなく、競合している所有者を報告します。CloakBrowser に戻すには acrawl config unset browser_backend を実行してください。

使い方

acrawl [OPTIONS] [COMMAND]

Commands:
  prompt <text>      Run a single goal non-interactively
  mcp                Start MCP server (stdio transport)
  mcp install        Install MCP config into your IDEs interactively
  auth [provider]    Configure provider credentials
  system-prompt      Print the system prompt (for debugging)

Options:
  --model MODEL            Model in provider/id format (e.g. anthropic/claude-sonnet-4-6)
  --output-format FORMAT   text | json
  --resume FILE            Resume a saved session (with optional /commands)
  --compact                Compact history on resume
  --headless[=BOOL]        Force browser headless on/off
  --no-headless, --headed  Launch browser in visible mode
  --allowedTools TOOLS     Restrict available tools (comma-separated, repeatable)
  -p TEXT                  Shorthand for prompt mode
  -V, --version            Print version

スラッシュコマンド

非対話モード／エージェントでの使用

一度だけ設定

acrawl auth anthropic --api-key sk-ant-... acrawl auth openai --api-key sk-... acrawl auth amazon-bedrock --access-key AKIA... --secret-key ... --region us-east-1 acrawl auth other --base-url http://localhost:11434/v1 # Ollama、キー不要 acrawl config set model anthropic/claude-sonnet-4-6

設定を確認

acrawl auth status --check anthropic # 設定済みなら終了コード 0、未設定なら 3 acrawl auth status --json # 認証情報テーブル全体（シークレットはマスクされます）

実行

acrawl prompt "scrape all titles from example.com" --output-format json

設定

acrawl config set headless false acrawl config set optimization.html_diff_mode true acrawl config get model --effective

MCP のインストール

acrawl mcp install --client opencode --scope user acrawl mcp install --all --yes acrawl mcp install --client claude-code --skill # エージェントスキルもインストールします

設定

すべての設定は ~/.acrawl/ に保存されます（ACRAWL_CONFIG_HOME で変更できます）。

credentials.json

acrawl auth で管理します。プロバイダーごとに次の情報を保存します。

Azure ではさらに resource_name と deployment_name が必要です。Bedrock では aws_access_key_id、aws_secret_access_key、region が必要です。Vertex では gcp_project_id と gcp_region が必要です。

settings.json

初回実行時にデフォルト値で作成されます。

すべてのフィールドは省略可能です。フィールドを省略するとデフォルト値が使用されます。optimization ブロックには、次のフィールドを含むネストしたオブジェクトを指定できます（すべてのデフォルト値は false／0／null で、ブロック全体を省略しても安全です）。

環境変数

プロバイダー固有の環境変数（上記のプロバイダーテーブルを参照）は、credentials.json にエントリがない場合にフォールバックとして読み込まれます。

パフォーマンスの最適化

acrawl には、各種ベンダー由来の最適化機能が 14 種類搭載されています（browser-use、Stagehand、crawl4ai、Skyvern、Spider、nanobrowser、ZeroClaw から提供）。すべてデフォルトでは無効です。settings.json で必要なものだけを有効にしてください。

コストを最適化するプロファイルを設定した settings.json の例：

{
  "optimization": {
    "html_diff_mode": true,
    "action_caching": true,
    "page_fingerprinting": true,
    "loop_detection": true,
    "self_healing": true,
    "budget_max_session_cost_usd": 0.50,
    "budget_enforcement": "warn"
  }
}

既知の制限事項

acrawl はほとんどの公開ウェブコンテンツで問題なく動作しますが、エージェントが確実に処理できない状況もあります。

仕組み

flowchart LR
    Goal([Goal\nnatural language]) --> Plan
    Plan --> Navigate --> Observe --> Act --> Extract
    Extract -->|repeat until done| Plan
    Extract --> Output([Output\nJSON / CSV])

1. エージェントは目標を受け取り、ID、操作手順、データの完全性、制約、エラーからの回復、完了プロトコル、並列探索の指針を網羅する7 セクションのシステムプロンプトを使って、複数ステップの計画を立てます。
2. 各ターンで、ページ上で観察した内容に基づいて 43 個のツールから選択します。
3. navigate は FetchRouter にリクエストを送り、まず HTTP を試します。JavaScript、認証リダイレクト、またはフレームワークのマーカーが検出されると、ヘッドレス Chromium ブラウザーに自動的に切り替えます。
4. ブラウザーは、改行区切りの JSON を stdio 経由でやり取りする、埋め込みの Node.js サブプロセス（PlaywrightBridge）によって操作されます。標準の Playwright ではなく、ステルスブラウジングには CloakBrowser を使用します。または、acrawl は /extension コマンドを使い、ローカル WebSocket ブリッジ経由の CDP でユーザーの実ブラウザーを操作できます。
5. 複数ページにわたるタスクでは、エージェントは子エージェントを個別のブラウザータブに fork できます。各エージェントは独立した状態とステップ予算を持ちます。wait_for_subagents は結果を収集し、cancel_subagent は実行中の子エージェントを中止し、subagent_status は処理をブロックせずに状態を確認します。
6. コンテキストが大きくなると、自動圧縮によって古いメッセージが要約され、最近のターン、ツールの使用状況、未完了の作業項目は保持されます。
7. 目標が達成され、すべてのサブエージェントが完了したとき、またはステップ上限に達したときに、エージェントは停止します。

アーキテクチャ

crates/
  core/         Shared types, traits, error hierarchy (acrawl-core)
  api/          25 provider clients (Anthropic, OpenAI, Gemini, DeepSeek, Bedrock, Azure, ...), SSE streaming
  browser/      PlaywrightBridge, ExtensionBridge, FetchRouter, BrowserContext, WsBridgeServer
  agent/        43 tools, agent loop, sub-agent fork/join, CrawlState
  runtime/      ConversationRuntime, config, sessions, MCP client stack, OAuth PKCE
  render/       Markdown rendering, tool output formatting, OutputSink
  mcp-server/   Built-in MCP server (JSON-RPC over stdio), IDE installer
  tui/          Ratatui terminal UI (acrawl-tui)
  ui/           Shared application layer (LiveCli, session management, tool executor, auth)
  cli/          Thin binary entry point (main.rs, self_update.rs, uninstall.rs)
  commands/     17 slash commands with resume-safety annotations

11 個のクレート、約 4 万行の Rust、1,097 件のテスト。

開発

cargo build --release                                     # build
cargo test --workspace                                    # run all tests
cargo clippy --workspace --all-targets -- -D warnings     # lint (pedantic)
cargo fmt --check                                         # format check

開発ガイドの全文は CONTRIBUTING.md を参照してください。

変更履歴

CHANGELOG.md を参照してください。

セキュリティ

セキュリティポリシーと脆弱性の報告方法については、SECURITY.md を参照してください。

ライセンス

MIT