Agent Browser

agent-browser によるブラウザー自動化

インストール

npm でのインストールを推奨

npm install -g agent-browser
agent-browser install
agent-browser install --with-deps

ソースからのインストール

git clone https://github.com/vercel-labs/agent-browser
cd agent-browser
pnpm install
pnpm build
agent-browser install

クイックスタート

agent-browser open <url>        # Navigate to page
agent-browser snapshot -i       # Get interactive elements with refs
agent-browser click @e1         # Click element by ref
agent-browser fill @e2 "text"   # Fill input by ref
agent-browser close             # Close browser

基本的なワークフロー

1. 移動：agent-browser open <url>
2. スナップショット：agent-browser snapshot -i（@e1、@e2 のような参照を含む要素を返します）
3. スナップショットの参照を使って操作します
4. 移動後、または DOM に大きな変更があった後は、スナップショットを再取得します

コマンド

ナビゲーション

agent-browser open <url>      # Navigate to URL
agent-browser back            # Go back
agent-browser forward         # Go forward
agent-browser reload          # Reload page
agent-browser close           # Close browser

スナップショット（ページの分析）

agent-browser snapshot            # Full accessibility tree
agent-browser snapshot -i         # Interactive elements only (recommended)
agent-browser snapshot -c         # Compact output
agent-browser snapshot -d 3       # Limit depth to 3
agent-browser snapshot -s "#main" # Scope to CSS selector

操作（スナップショットの @ref を使用）

agent-browser click @e1           # Click
agent-browser dblclick @e1        # Double-click
agent-browser focus @e1           # Focus element
agent-browser fill @e2 "text"     # Clear and type
agent-browser type @e2 "text"     # Type without clearing
agent-browser press Enter         # Press key
agent-browser press Control+a     # Key combination
agent-browser keydown Shift       # Hold key down
agent-browser keyup Shift         # Release key
agent-browser hover @e1           # Hover
agent-browser check @e1           # Check checkbox
agent-browser uncheck @e1         # Uncheck checkbox
agent-browser select @e1 "value"  # Select dropdown
agent-browser scroll down 500     # Scroll page
agent-browser scrollintoview @e1  # Scroll element into view
agent-browser drag @e1 @e2        # Drag and drop
agent-browser upload @e1 file.pdf # Upload files

情報の取得

agent-browser get text @e1        # Get element text
agent-browser get html @e1        # Get innerHTML
agent-browser get value @e1       # Get input value
agent-browser get attr @e1 href   # Get attribute
agent-browser get title           # Get page title
agent-browser get url             # Get current URL
agent-browser get count ".item"   # Count matching elements
agent-browser get box @e1         # Get bounding box

状態の確認

agent-browser is visible @e1      # Check if visible
agent-browser is enabled @e1      # Check if enabled
agent-browser is checked @e1      # Check if checked

スクリーンショットと PDF

agent-browser screenshot          # Screenshot to stdout
agent-browser screenshot path.png # Save to file
agent-browser screenshot --full   # Full page
agent-browser pdf output.pdf      # Save as PDF

動画の録画

agent-browser record start ./demo.webm    # Start recording (uses current URL + state)
agent-browser click @e1                   # Perform actions
agent-browser record stop                 # Stop and save video
agent-browser record restart ./take2.webm # Stop current + start new recording

録画を開始すると新しいコンテキストが作成されますが、セッションの Cookie とストレージは引き継がれます。URL を指定しない場合は、現在のページに自動的に戻ります。スムーズなデモを行うには、まずページを確認してから録画を開始してください。

待機

agent-browser wait @e1                     # Wait for element
agent-browser wait 2000                    # Wait milliseconds
agent-browser wait --text "Success"        # Wait for text
agent-browser wait --url "/dashboard"    # Wait for URL pattern
agent-browser wait --load networkidle      # Wait for network idle
agent-browser wait --fn "window.ready"     # Wait for JS condition

マウス操作

agent-browser mouse move 100 200      # Move mouse
agent-browser mouse down left         # Press button
agent-browser mouse up left           # Release button
agent-browser mouse wheel 100         # Scroll wheel

セマンティックロケーター（参照の代替）

agent-browser find role button click --name "Submit"
agent-browser find text "Sign In" click
agent-browser find label "Email" fill "[email protected]"
agent-browser find first ".item" click
agent-browser find nth 2 "a" text

ブラウザーの設定

agent-browser set viewport 1920 1080      # Set viewport size
agent-browser set device "iPhone 14"      # Emulate device
agent-browser set geo 37.7749 -122.4194   # Set geolocation
agent-browser set offline on              # Toggle offline mode
agent-browser set headers '{"X-Key":"v"}' # Extra HTTP headers
agent-browser set credentials user pass   # HTTP basic auth
agent-browser set media dark              # Emulate color scheme

Cookie とストレージ

agent-browser cookies                     # Get all cookies
agent-browser cookies set name value      # Set cookie
agent-browser cookies clear               # Clear cookies
agent-browser storage local               # Get all localStorage
agent-browser storage local key           # Get specific key
agent-browser storage local set k v       # Set value
agent-browser storage local clear         # Clear all

ネットワーク

agent-browser network route <url>              # Intercept requests
agent-browser network route <url> --abort      # Block requests
agent-browser network route <url> --body '{}'  # Mock response
agent-browser network unroute [url]            # Remove routes
agent-browser network requests                 # View tracked requests
agent-browser network requests --filter api    # Filter requests

タブとウィンドウ

agent-browser tab                 # List tabs
agent-browser tab new [url]       # New tab
agent-browser tab 2               # Switch to tab
agent-browser tab close           # Close tab
agent-browser window new          # New window

フレーム

agent-browser frame "#iframe"     # Switch to iframe
agent-browser frame main          # Back to main frame

ダイアログ

agent-browser dialog accept [text]  # Accept dialog
agent-browser dialog dismiss        # Dismiss dialog

JavaScript

agent-browser eval "document.title"   # Run JavaScript

状態管理

agent-browser state save auth.json    # Save session state
agent-browser state load auth.json    # Load saved state

例：フォームの送信

agent-browser open https://example.com/form
agent-browser snapshot -i
# Output shows: textbox "Email" [ref=e1], textbox "Password" [ref=e2], button "Submit" [ref=e3]

agent-browser fill @e1 "[email protected]"
agent-browser fill @e2 "password123"
agent-browser click @e3
agent-browser wait --load networkidle
agent-browser snapshot -i  # Check result

例：保存した状態を使った認証

# Login once
agent-browser open https://app.example.com/login
agent-browser snapshot -i
agent-browser fill @e1 "username"
agent-browser fill @e2 "password"
agent-browser click @e3
agent-browser wait --url "/dashboard"
agent-browser state save auth.json

# Later sessions: load saved state
agent-browser state load auth.json
agent-browser open https://app.example.com/dashboard

セッション（並列ブラウザー）

agent-browser --session test1 open site-a.com
agent-browser --session test2 open site-b.com
agent-browser session list

JSON 出力（解析用）

機械可読な出力を得るには、--json を追加します。

agent-browser snapshot -i --json
agent-browser get text @e1 --json

デバッグ

agent-browser open example.com --headed              # Show browser window
agent-browser console                                # View console messages
agent-browser console --clear                        # Clear console
agent-browser errors                                 # View page errors
agent-browser errors --clear                         # Clear errors
agent-browser highlight @e1                          # Highlight element
agent-browser trace start                            # Start recording trace
agent-browser trace stop trace.zip                   # Stop and save trace
agent-browser record start ./debug.webm              # Record from current page
agent-browser record stop                            # Save recording
agent-browser --cdp 9222 snapshot                    # Connect via CDP

トラブルシューティング

• Linux ARM64 でコマンドが見つからない場合は、bin フォルダー内のフルパスを使用してください。
• 要素が見つからない場合は、スナップショットを使って正しい参照を確認してください。
• ページが読み込まれていない場合は、移動後に待機コマンドを追加してください。
• デバッグでブラウザーウィンドウを表示するには、--headed を使用してください。

オプション

• --session は、分離されたセッションを使用します。
• --json は JSON 出力を指定します。
• --full はページ全体のスクリーンショットを撮影します。
• --headed はブラウザーウィンドウを表示します。
• --timeout はコマンドのタイムアウト時間をミリ秒で設定します。
• --cdp は、Chrome DevTools Protocol 経由で接続します。

注記

• 参照はページの読み込み中は安定していますが、ページを移動すると変わります。
• 新しい参照を取得するため、ページを移動した後は必ずスナップショットを取得してください。
• 入力欄の既存のテキストを確実に消去するには、type ではなく fill を使用してください。

問題の報告

• スキルに関する問題：https://github.com/TheSethRose/Agent-Browser-CLI で Issue を作成してください
• agent-browser CLI に関する問題：https://github.com/vercel-labs/agent-browser で Issue を作成してください