agent-device について
agent-deviceは、agent-deviceコマンドラインでアプリの画面を操作するスキルです。インタラクティブなスナップショット、操作、結果確認の手順と、セレクターやスクリーンショットによる代替方法を示します。
主な機能
- 01インタラクティブなスナップショットでセッション開始
- 02参照IDとセレクターによる操作
- 03テキストと状態の確認による結果検証
- 04画面外の対象まで直接スクロール
- 05アクセシビリティ情報がない場合のスクリーンショット利用
活用シーン
- 01アプリ画面を移動
- 02フォームへの入力と送信
- 03画面外のコントロールを探す
- 04アクセシビリティセレクターが使えない場合の操作
インストール
コマンドをコピーしてターミナルで実行します。
npx skills add https:/インストール後、Claude Code で/agent-deviceを入力して読み込まれたか確認します。
詳細
agent-device
通常のアプリ操作タスクでは、すぐに開始してください。最初に --help、--version、devices、appstate、snapshot、screenshot で調べないでください。
agent-device open <app> --foreground
これでセッションが開始され、@refs を含む初期のインタラクティブスナップショットが返されます。
ループ：press|click|fill|longpress <target> ... --settle、scroll <direction> --settle、または back --settle で操作します。出力された差分をもとに続行し、指定された期待内容（wait text "..."、is、get、または find）を確認してから、agent-device close を実行します。
画面外のターゲットに到達する操作は、スクロールして確認するループではなく、1つのコマンドで行えます。scroll down --until <selector> はその要素が画面に表示されるまでスクロールし、scroll bottom はコンテンツの末尾まで進みます。scroll down を単独で何度も実行するのは、目的のものを探すうえで時間がかかる方法です。
ref はバイト単位でそのままコピーしてください：@e12、@e12~s4 — @ と ~sN があればそれも維持してください。現在の ref を優先し、次に id／label／role セレクターを使います。座標の使用は最後の手段です。スナップショットに sparse／AX-unavailable と表示された場合、その ref とセレクターは無効です。agent-device screenshot を実行して画像を確認し、座標を使ってから、画面遷移後に snapshot -i を再試行してください。それ以外の場合は、差分に次のターゲットが見つからないときに限り snapshot -i を実行します。
エラー出力には修正のヒントが含まれています。再計画するのではなく、そのヒントに従ってください。ジェスチャー、スクリプティング、TV、macOS、リモート、デバッグなどの特殊なタスクの場合、またはコマンドの形式が不明な場合に限り、agent-device help <topic> を実行してください。agent-device --help ではトピックの一覧を確認できますが、起動時に実行するものではありません。