mcpField
G
gemini-computer-use

gemini-computer-use

github.com/am-willAgent 工作流1.0k1.2k 次安装15 周前更新
代码仓库

关于 gemini-computer-use

gemini-computer-use 是面向 Agent 的浏览器自动化技能，结合 Gemini 与 Playwright 按目标执行电脑操作。它支持对安全检查标记的操作请求确认，并可配置 Chromium 浏览器。

主要功能

  1. 01基于截图的 Gemini 操作循环
  2. 02通过 Playwright 操作浏览器
  3. 03标记操作需用户确认
  4. 04配置 Chromium 浏览器
  5. 05设置轮次上限与排除操作

适用场景

  1. 01查找网站信息
  2. 02根据提示自动执行浏览器任务

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/am-will/codex-skills --skill gemini-computer-use

安装后在 Claude Code 中输入/gemini-computer-use确认已加载。

包含的文件

除 SKILL.md 外，安装时一起下载的参考资料和脚本。

env.example
references/
google-computer-use.md
scripts/
computer_use_agent.py

详细介绍

Gemini Computer Use

快速开始

  1. 加载环境文件并设置 API 密钥：

    cp env.example env.sh
$EDITOR env.sh
source env.sh

  2. 创建虚拟环境并安装依赖：

    python -m venv .venv
source .venv/bin/activate
pip install google-genai playwright
playwright install chromium

  3. 使用提示词运行 Agent 脚本：

    python scripts/computer_use_agent.py \
  --prompt "Find the latest blog post title on example.com" \
  --start-url "https://example.com" \
  --turn-limit 6

浏览器选择

  • 默认：Playwright 捆绑的 Chromium（无需设置环境变量）。
  • 使用 COMPUTER_USE_BROWSER_CHANNEL 选择浏览器渠道（Chrome/Edge）。
  • 使用 COMPUTER_USE_BROWSER_EXECUTABLE 指定自定义的、基于 Chromium 的可执行文件（例如 Brave）。

如果两者都已设置，则优先使用 COMPUTER_USE_BROWSER_EXECUTABLE。

核心工作流（Agent 循环）

  1. 截取屏幕截图，并将用户目标和截图发送给模型。
  2. 解析响应中的 function_call 操作。
  3. 在 Playwright 中执行每项操作。
  4. 如果 safety_decision 为 require_confirmation，则在执行前征求用户确认。
  5. 发送包含最新 URL 和屏幕截图的 function_response 对象。
  6. 重复上述步骤，直到模型仅返回文本（没有操作）或达到轮次上限。

操作指南

  • 在沙盒浏览器配置文件或容器中运行。
  • 使用 --exclude 阻止不希望模型执行的风险操作。
  • 除非有理由更改，否则将视口保持在 1440x900。

资源

  • 脚本：scripts/computer_use_agent.py
  • 参考说明：references/google-computer-use.md
  • 环境模板：env.example

评论

支持 Markdown