mcpField
P
peekaboo

peekaboo

github.com/openclawエージェントワークフロー393.3k6.1k 回インストール今日更新
リポジトリ

peekaboo について

Peekaboo は、Peekaboo CLI で macOS の画面を確認・操作するエージェントスキルです。対象アプリに沿った操作と、実行後の画面確認を重視します。

主な機能

  1. 01アプリ一覧と画面要素の確認
  2. 02要素検出の有無を選べるスクリーンショット
  3. 03キーボードやドラッグによるアプリ操作
  4. 04Bridge の状態と権限の確認
  5. 05操作前の画面情報の更新

活用シーン

  1. 01操作前に対象アプリのウィンドウを確認
  2. 02画面操作を自動化し結果を検証
  3. 03対象指定や権限の問題を調査

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/openclaw/openclaw --skill peekaboo

インストール後、Claude Code で/peekabooを入力して読み込まれたか確認します。

詳細

Peekaboo

Peekaboo を使用して macOS UI を検査し、目的のターゲットに対して操作を実行し、結果を検証します。 以下の例では v4 構文を使用しています。peekaboo --version と、インストールされている コマンドの --help を確認してください。古いバージョンについては、そのバージョンのヘルプに従ってください。

OpenClaw Bridge

OpenClaw macOS アプリは、Computer Control が有効で、そのプロバイダーが Peekaboo であり、 Peekaboo Bridge が有効な場合に Peekaboo Bridge をホストします。そのホスト経由で実行する場合は、 既存の OpenClaw ソケット選択を維持してください：

export PEEKABOO_BRIDGE_SOCKET="${PEEKABOO_BRIDGE_SOCKET:-$HOME/Library/Application Support/OpenClaw/bridge.sock}"
peekaboo bridge status --json

選択されたホストとソケットが意図したものであることを確認してください。明示的な PEEKABOO_BRIDGE_SOCKET または --bridge-socket の選択を保持してください。必要な ホストが利用できない場合は、その結果を報告してください。コマンドを成功させるために選択を クリアしたり、Computer Control プロバイダーを切り替えたりしないでください。

権限は、操作を実行するプロセスまたは Bridge ホストに属します。 呼び出し元が必要な権限を持っていない限り、--no-remote を渡さないでください。

インストールされているコマンドを確認する

コマンド間でフラグをコピーするのではなく、フラグとターゲット要件についてはリーフヘルプを使用してください。 利用可能なコマンドを確認するにはルートヘルプを使用します：

peekaboo --help
peekaboo app list --help
peekaboo see --help
peekaboo press --help
peekaboo drag --help

v4 では以下の古いコマンドルートが削除されました：

古いコマンドv4 コマンド
list appsapp list
image要素検出なしのピクセルには see --no-elements
hotkeycmd+shift+t などのコードを使う press
swipedrag --from … --to …

クリック、入力、スクロール、ウィンドウやメニューの管理などその他の操作については、 peekaboo <command> --help を使用してください。コマンドオプションはリーフコマンドの後に 配置してください。--json は構造化出力を要求します。

検査、操作、検証

アプリケーションの一覧とターゲットの最新の表示から始めます：

peekaboo app list --json
peekaboo see --app Safari --window-title "Example" --annotate \
  --path /tmp/peekaboo-example.png --json

操作する前に、返された要素を読んでください。操作は意図したアプリ、ウィンドウ、最新の スナップショットに結び付けてください。サンプルの要素 ID を再利用しないでください。操作後、 UI を再度検査し、要求された結果を確認してください。ウィンドウが変化した場合やターゲットが 古くなった場合は、観察を更新してください。

要素検出なしのスクリーンショットの場合：

peekaboo see --mode screen --screen-index 0 --no-elements --retina \
  --path /tmp/peekaboo-screen.png --json

生のキーボードコードには、明示的なフォアグラウンド操作、または press が受け入れる 最新の正確なウィンドウのレシートが必要です。ドラッグは常に共有カーソルを移動し、 --foreground が必要です。フォアグラウンド操作が許可されている場合：

peekaboo press cmd+shift+t --app Safari --foreground --json
peekaboo drag --from 100,500 --to 100,200 --duration 800ms --foreground --json

現在の観察から実際のターゲットと座標を使用してください。800ms のような明示的な 時間単位を優先してください。各コマンドのオプションと前提条件については、そのコマンドの ヘルプを参照してください。

トラブルシューティング

  • 削除されたコマンドのエラーについては、インストールされている CLI が示す代替コマンドを使用してください。
  • ホストまたは権限の失敗については、選択されたホストの peekaboo bridge status --json と peekaboo permissions status --json を検査してください。
  • ターゲット指定の失敗については、リーフヘルプを読み、see で最新の UI 状態を取得してください。
  • macOS 15 以降では、プライベートウィンドウピッカーのプロンプトは基本の 画面収録の許可とは別であり、Bridge の権限が正しくても表示されることがあります。

コメント

Markdown 対応