mcpField
A
agent-device

agent-device

github.com/callstackAgent 工作流5.2k19.2k 次安装今天更新
代码仓库

关于 agent-device

agent-device 是通过 agent-device 命令行操作应用界面的技能。它指导 Agent 使用交互快照、操作和验证,并提供选择器及截图回退方法。

主要功能

  1. 01通过交互快照启动会话
  2. 02使用引用和选择器执行操作
  3. 03通过文本和状态检查验证结果
  4. 04直接滚动到屏幕外目标
  5. 05无障碍数据不可用时使用截图

适用场景

  1. 01导航应用界面
  2. 02填写并提交表单
  3. 03查找屏幕外控件
  4. 04无障碍选择器不可用时恢复操作

安装

复制下面的命令,在终端中运行。

$npx skills add https://github.com/callstack/agent-device --skill agent-device

安装后在 Claude Code 中输入/agent-device确认已加载。

详细介绍

agent-device

对于普通的应用操作任务,请立即开始。不要先用 --help、--version、devices、appstate、snapshot 或 screenshot 探测:

agent-device open <app> --foreground

这会启动会话,并返回包含 @refs 的初始交互快照。

循环操作:使用 press|click|fill|longpress <target> ... --settle、scroll <direction> --settle 或 back --settle 执行操作;根据打印出的差异继续操作,验证指定的预期(wait text "..."、is、get 或 find),然后运行 agent-device close。

要操作屏幕外的目标,只需运行一条命令,无需循环滚动并检查:scroll down --until <selector> 会一直滚动,直到该元素出现在屏幕上;scroll bottom 会滚动到内容末尾。反复单独调用 scroll down 是查找目标的低效方式。

逐字节复制引用:@e12、@e12~s4 — 保留 @ 和任何 ~sN。优先使用当前引用,然后使用 id/label/role 选择器;坐标是最后手段。如果快照报告 sparse/AX-unavailable,则其中的引用和选择器无效:运行 agent-device screenshot,检查图像,使用坐标,然后在导航后重试 snapshot -i。否则,只有当差异中缺少下一个目标时才运行 snapshot -i。

错误输出中包含纠正提示;请遵循提示,而不是重新规划。只有任务具有特殊性(例如手势、脚本编写、TV、macOS、远程操作或调试),或命令格式不明确时,才运行 agent-device help <topic>。agent-device --help 会列出主题,但它不是启动步骤。

评论

支持 Markdown