关于 mobile-automation
mobile-automation 是通过 Mobile MCP 工具控制真实手机、模拟器和仿真器的技能。它指导 Agent 选择设备、检查屏幕、执行操作并验证结果,也支持远程云设备和崩溃日志。
主要功能
- 01列出并选择可用设备
- 02检查无障碍元素或屏幕截图
- 03点击、滑动、输入和按键
- 04启动应用并打开 URL
- 05保存截图和屏幕录制
- 06获取应用崩溃日志
适用场景
- 01在已连接设备上测试应用
- 02每次操作后验证屏幕变化
- 03保存截图或屏幕录制
- 04排查移动应用崩溃
MCP 相关
该技能使用以 `mobile_` 为前缀的 Mobile MCP 工具检查和控制设备,并要求先选定设备、每次操作后确认屏幕状态。
安装
复制下面的命令,在终端中运行。
$
npx skills add https:/ / github.com/ mobile-next/ mobile-mcp --skill mobile-automation安装后在 Claude Code 中输入/mobile-automation确认已加载。
详细介绍
使用 Mobile MCP 进行移动端自动化
用于操控真实手机、模拟器和仿真器的工具。所有工具均以 mobile_ 为前缀。
工作流
- 选择设备。 调用
mobile_list_available_devices,并在后续每次调用中使用返回的某台设备。如果没有可用设备,请让用户连接一台(Android:adb devices必须能显示该设备;iOS:模拟器已启动或设备已配对)。 - 查看屏幕。 优先使用
mobile_list_elements_on_screen——它会返回包含元素标签和坐标的无障碍树。与截图相比,它更快、更省成本,也更可靠。只有在缺少元素,或需要视觉确认时(游戏、通过画布绘制的 UI、图像内容),才使用mobile_take_screenshot。 - 执行操作。
mobile_click_on_screen_at_coordinates、mobile_swipe_on_screen、mobile_type_keys、mobile_press_button(HOME、BACK、VOLUME、ENTER)、mobile_launch_app/mobile_terminate_app/mobile_list_apps、mobile_open_url。 - 每次操作后都要验证。 重新列出元素(或重新截图),确认 UI 按预期发生变化后再进行下一步。移动端 UI 会有动画;如果预期元素尚未出现,请稍等片刻并再次检查,不要盲目点击。
提示
- 点击元素边界的中心,而不是左上角。
- 输入文字时,先点击输入框并确认其已获得焦点,然后使用
mobile_type_keys。 - 用户需要将图像保存为文件时,使用
mobile_save_screenshot;录制视频时,使用mobile_start_screen_recording/mobile_stop_screen_recording。 - 应用崩溃?使用
mobile_list_crashes和mobile_get_crash获取崩溃日志。 - 使用
mobile_get_screen_size获取屏幕尺寸;坐标以该尺寸空间为准。 - 云端真实设备(无本地硬件):先调用
mobile_login_to_cloud_provider,然后调用mobile_list_remote_devices/mobile_allocate_remote_device,完成后使用mobile_release_remote_device释放设备。详情请参阅 https://mobilenext.ai/docs。
评论
支持 Markdown