关于 agent-device
agent-device 是通过 agent-device 命令行操作应用界面的技能。它指导 Agent 使用交互快照、操作和验证,并提供选择器及截图回退方法。
主要功能
- 01通过交互快照启动会话
- 02使用引用和选择器执行操作
- 03通过文本和状态检查验证结果
- 04直接滚动到屏幕外目标
- 05无障碍数据不可用时使用截图
适用场景
- 01导航应用界面
- 02填写并提交表单
- 03查找屏幕外控件
- 04无障碍选择器不可用时恢复操作
安装
复制下面的命令,在终端中运行。
npx skills add https:/ / github.com/ callstack/ agent-device --skill agent-device安装后在 Claude Code 中输入/agent-device确认已加载。
详细介绍
agent-device
对于普通的应用操作任务,请立即开始。不要先用 --help、--version、devices、appstate、snapshot 或 screenshot 探测:
agent-device open <app> --foreground
这会启动会话,并返回包含 @refs 的初始交互快照。
循环操作:使用 press|click|fill|longpress <target> ... --settle、scroll <direction> --settle 或 back --settle 执行操作;根据打印出的差异继续操作,验证指定的预期(wait text "..."、is、get 或 find),然后运行 agent-device close。
要操作屏幕外的目标,只需运行一条命令,无需循环滚动并检查:scroll down --until <selector> 会一直滚动,直到该元素出现在屏幕上;scroll bottom 会滚动到内容末尾。反复单独调用 scroll down 是查找目标的低效方式。
逐字节复制引用:@e12、@e12~s4 — 保留 @ 和任何 ~sN。优先使用当前引用,然后使用 id/label/role 选择器;坐标是最后手段。如果快照报告 sparse/AX-unavailable,则其中的引用和选择器无效:运行 agent-device screenshot,检查图像,使用坐标,然后在导航后重试 snapshot -i。否则,只有当差异中缺少下一个目标时才运行 snapshot -i。
错误输出中包含纠正提示;请遵循提示,而不是重新规划。只有任务具有特殊性(例如手势、脚本编写、TV、macOS、远程操作或调试),或命令格式不明确时,才运行 agent-device help <topic>。agent-device --help 会列出主题,但它不是启动步骤。