browser-automation

自動化操作 (Desktop & Browser Automation)

ACTION REQUIRED（読了後すぐに実行）

1. NOW：現在のタスクが本 skill の適用範囲に該当するか確認する
2. NOW：../tool-index.md を読み、ツールの可用性と実際のパスを検証する
3. NEXT：ツールが不足している場合は bootstrap を呼び出す。パスを推測しない
4. ACT：「ワークフロー」の最初のステップに入り実行する。確認状態で止まらない

適用範囲

タスクが以下のシナリオに該当する場合に本 skill を使用します：

ブラウザシナリオ（Playwright / agent-browser）

• Web ページを開き、ページ要素を操作する（クリック、フォーム入力、送信）
• ページ内容のクロールまたはスクリーンショット
• ログインフローの自動化
• ペネトレーションテストで Web ページと対話する（payload の送信、XSS のトリガー）
• キャプチャページの自動処理
• フォームの一括送信

デスクトップアプリケーションシナリオ（OpenReverse）

• Windows デスクトップアプリの操作（IDA Pro、x64dbg、Wireshark など）
• 視覚駆動の対話が必要（CUA モード）
• 構造化された UI 操作が必要（UIA モード）
• デスクトップアプリのネットワークトラフィック観察（内蔵 mitmproxy）
• リバースツールの GUI 操作の自動化
• デスクトップソフトウェアのブラックボックステスト

他のツールとの役割分担

シナリオ	使用するもの
Web ページの操作（ブラウザ内）	Playwright / agent-browser
デスクトップアプリの操作（Windows GUI）	OpenReverse
パケットキャプチャ分析、HTTP リクエストのキャプチャ	anything-analyzer または OpenReverse network lane
JS ブレークポイント、Hook、CDP デバッグ	jshookmcp
署名アルゴリズムの特定、環境補完による再現	js-reverse

簡単な判断：

• 対象が Web ページ → Playwright
• 対象が Windows デスクトップアプリ → OpenReverse
• 両方が必要 → 組み合わせて使用

---

Part 1: ブラウザ自動化（Playwright / agent-browser）

コアワークフロー

# 1. 打开页面
agent-browser open <url>

# 2. 获取可交互元素（返回 @e1, @e2... 引用）
agent-browser snapshot -i

# 3. 用引用操作元素
agent-browser click @e1
agent-browser fill @e2 "text"

# 4. 完成后关闭
agent-browser close

コマンドリファレンス

# 导航
agent-browser open <url>
agent-browser close

# 页面快照
agent-browser snapshot        # 完整无障碍树
agent-browser snapshot -i     # 仅可交互元素（推荐）

# 交互操作
agent-browser click @e1
agent-browser fill @e2 "text"
agent-browser type @e2 "text"
agent-browser press Enter
agent-browser scroll down 500

# 获取信息
agent-browser get text @e1
agent-browser get title
agent-browser get url

# 等待
agent-browser wait @e1
agent-browser wait 2000
agent-browser wait --load networkidle

注意事項

• agent-browser close を必ず実行してください。そうしないとプロセスがリークします
• 操作前にまず snapshot を取得し、要素参照を推測しないでください
• フォーム送信後は wait --load networkidle でページが安定するのを待ってください

---

Part 2: デスクトップアプリケーション自動化（OpenReverse）

概要

OpenReverse は AI エージェント向けのデスクトップ対話および証拠収集フレームワークで、以下をサポートします：

• UIA モード：Windows UI Automation、構造化されたデスクトップコントロール操作
• CUA モード：視覚駆動の対話（Computer Use Agent）、複雑な GUI に適しています
• ネットワーク観察：内蔵 mitmproxy プロキシ + ローカルキャプチャ

対話モードの選択

モード	適合するシナリオ	基盤
UIA	対象アプリに標準の Windows コントロール（ボタン、テキストボックス、リスト）がある	Windows UI Automation API
CUA	対象アプリの UI が複雑、または非標準コントロール（IDA の逆アセンブリビュー、カスタムレンダリング画面）	視覚認識 + マウス・キーボード

ネットワーク観察モード

モード	適合するシナリオ
Proxy Lane	対象アプリでプロキシを設定できる（推奨）
Local Lane	対象アプリがプロキシを経由できず、ローカルキャプチャが必要

インストールと設定

# 1. Clone 项目
git clone https://github.com/zhexulong/openreverse.git
cd openreverse

# 2. 安装依赖
npm install

# 3. 接入 Agent 宿主（Claude Code / Codex / Zed）
npm run init:agents -- --target=all /path/to/project

# 4. 安装 CUA runtime（如果需要视觉驱动模式）
npm run install:cua-runtime
npm run doctor:cua-runtime

# 5. 安装网络观察依赖（如果需要抓包）
npm run install:mitmproxy
npm run doctor:network

一般的な組み合わせ

要件	設定
デスクトップアプリの操作のみ	UIA または CUA、ネットワーク lane は接続しない
デスクトップアプリの操作 + パケットキャプチャ	UIA/CUA + proxy lane
デスクトップアプリの操作 + ローカルキャプチャ	UIA/CUA + local lane

リバースシナリオの例

场景：自动化操作 IDA Pro 进行批量分析

1. 用 OpenReverse CUA 模式打开 IDA Pro
2. 自动加载目标二进制
3. 等待分析完成
4. 通过 UI 操作导出函数列表
5. 同时用 network lane 观察 IDA 的网络行为（如 Lumina 请求）

场景：自动化操作 x64dbg 调试

1. 用 OpenReverse UIA 模式启动 x64dbg
2. 加载目标程序
3. 设置断点
4. 运行并观察寄存器/内存变化
5. 截图保存证据

---

オンデマンド自举（On-Demand Bootstrap）

自動化機能の境界

ツール	自動インストール可否	インストール方法	説明
Playwright	✓	npm + npx playwright install	ブラウザ自動化エンジン
agent-browser CLI	✓	npm install -g agent-browser	ブラウザ操作 CLI
Node.js	✓	winget	前提依存関係
OpenReverse	✗	手動 clone + npm install	実験段階、依存関係が重い
mitmproxy	✗	手動インストール	OpenReverse ネットワーク観察の依存関係

自举のトリガー

• ブラウザ操作に Playwright が不足 → 自動 bootstrap
• デスクトップ操作に OpenReverse が必要 → ユーザーに手動インストールを案内（完全な手順を提示）

OpenReverse 手動インストールガイド

AI がデスクトップアプリケーション自動化が必要と検出したが OpenReverse がインストールされていない場合：

⚠️ **需要 OpenReverse 进行桌面应用自动化**

**安装步骤**：
1. `git clone https://github.com/zhexulong/openreverse.git`
2. `cd openreverse && npm install`
3. `npm run init:agents -- --target=all <你的项目路径>`
4. 如需视觉模式：`npm run install:cua-runtime`
5. 如需网络观察：`npm run install:mitmproxy`

**验证**：`npm run doctor:cua-runtime` 和 `npm run doctor:network`

---

ルーティングコンテキスト

上流エントリ: skills/SKILL.md（総合制御）、routing.md 適用シナリオ: ブラウザまたはデスクトップアプリの自動化操作が必要なあらゆるタスク 下流エクスポート:

• キャプチャしたリクエストの分析が必要 → anything-analyzer または js-reverse
• JS デバッグ/Hook が必要 → jshookmcp
• 署名アルゴリズムの復元が必要 → js-reverse
• デスクトップアプリがリバースツール → ida-reverse/

同階層の関連モジュール: js-reverse（ブラウザ操作後に JS の分析が必要になる場合がある）、ida-reverse（OpenReverse は IDA GUI を自動操作できる）

タスク完了自検（完了を主張する前に MUST 通過）

• ワークフローの各ステップを（読むだけでなく）実行しましたか？
• tool-index に基づいて実際のツールパスを使用しましたか？
• 再現可能な証拠（コマンド/スクリプト/スクリーンショット/レポート）を産出しましたか？
• RULES が要求する Checklist 項目を完了し、書き戻しましたか？