mcpField
G
gemini-computer-use

gemini-computer-use

github.com/am-willエージェントワークフロー1.0k1.2k 回インストール15 週間前に更新
リポジトリ

gemini-computer-use について

gemini-computer-useは、GeminiとPlaywrightを使って目標に沿った操作を行うエージェント向けブラウザー自動化スキルです。安全チェックで確認が必要とされた操作をユーザーに確認し、Chromiumブラウザーも設定できます。

主な機能

  1. 01スクリーンショットを使うGemini操作ループ
  2. 02Playwrightによるブラウザー操作
  3. 03対象操作のユーザー確認
  4. 04Chromiumブラウザーの選択
  5. 05ターン上限と除外操作の設定

活用シーン

  1. 01ウェブサイト上の情報検索
  2. 02プロンプトによるブラウザー作業の自動化

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/am-will/codex-skills --skill gemini-computer-use

インストール後、Claude Code で/gemini-computer-useを入力して読み込まれたか確認します。

同梱ファイル

SKILL.md と一緒にインストールされる参考資料やスクリプト。

env.example
references/
google-computer-use.md
scripts/
computer_use_agent.py

詳細

Gemini Computer Use

クイックスタート

  1. env ファイルを読み込み、API キーを設定します。

    cp env.example env.sh
$EDITOR env.sh
source env.sh

  2. 仮想環境を作成し、依存関係をインストールします。

    python -m venv .venv
source .venv/bin/activate
pip install google-genai playwright
playwright install chromium

  3. プロンプトを指定してエージェントスクリプトを実行します。

    python scripts/computer_use_agent.py \
  --prompt "Find the latest blog post title on example.com" \
  --start-url "https://example.com" \
  --turn-limit 6

ブラウザーの選択

  • デフォルト：Playwright に同梱されている Chromium（環境変数の設定は不要です）。
  • COMPUTER_USE_BROWSER_CHANNEL でチャンネル（Chrome／Edge）を選択します。
  • COMPUTER_USE_BROWSER_EXECUTABLE で Chromium ベースのカスタム実行ファイル（例：Brave）を使用します。

両方が設定されている場合は、COMPUTER_USE_BROWSER_EXECUTABLE が優先されます。

コアワークフロー（エージェントループ）

  1. スクリーンショットを取得し、ユーザーの目的とともにモデルに送信します。
  2. 応答内の function_call アクションを解析します。
  3. 各アクションを Playwright で実行します。
  4. safety_decision が require_confirmation の場合は、実行前にユーザーに確認します。
  5. 最新の URL とスクリーンショットを含む function_response オブジェクトを送信します。
  6. モデルがテキストのみ（アクションなし）を返すか、ターン数の上限に達するまで繰り返します。

運用ガイダンス

  • サンドボックス化されたブラウザープロファイルまたはコンテナーで実行します。
  • モデルに実行させたくないリスクの高いアクションをブロックするには、--exclude を使用します。
  • 変更する理由がない限り、ビューポートは 1440x900 のままにします。

リソース

  • スクリプト：scripts/computer_use_agent.py
  • 参考資料：references/google-computer-use.md
  • 環境変数テンプレート：env.example

コメント

Markdown 対応