mcpField
A
ai-vision

ai-vision

github.com/httprunnerAgent 工作流288 次安装35 周前更新
代码仓库

关于 ai-vision

这是一个独立命令行工具技能，可将屏幕截图提交给多模态模型，用于界面查询、断言和单步规划。它面向由 Agent 通过设备驱动另行执行操作及多步控制的场景。

主要功能

  1. 01根据截图查询界面元素
  2. 02断言屏幕上可见的条件
  3. 03规划并规范化下一步操作
  4. 04配置模型端点和凭据
  5. 05输出结构化 JSON

适用场景

  1. 01定位截图中的界面控件
  2. 02检查界面是否满足条件
  3. 03获取下一次交互的坐标
  4. 04将模型输出交给外部设备驱动

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/httprunner/skills --skill ai-vision

安装后在 Claude Code 中输入/ai-vision确认已加载。

包含的文件

除 SKILL.md 外，安装时一起下载的参考资料和脚本。

package-lock.json
package.json
tsconfig.json
agents/
openai.yaml
references/
doubao-api.md
scripts/
ai_vision.ts

详细介绍

AI Vision

概述

此技能提供独立的 CLI，用于调用多模态模型执行 UI 查询、断言和单步规划。它不依赖设备类型；你只需提供屏幕截图，即可获得结构化输出（坐标、决策或下一步操作）。执行和多步循环由使用 adb/hdc 或其他驱动程序的 Agent 在外部处理。建议将屏幕截图存储在 ~/.eval/screenshots/ 中，并添加时间戳以避免覆盖。

路径约定

规范的安装和执行目录：~/.agents/skills/ai-vision/。请从此目录运行命令：

cd ~/.agents/skills/ai-vision

一次性运行（可从任意工作目录在脚本/循环中安全使用）：

(cd ~/.agents/skills/ai-vision && npx tsx scripts/ai_vision.ts --help)

模型配置

通过环境变量配置默认的 Doubao：

  • ARK_BASE_URL（例如，https://ark.cn-beijing.volces.com/api/v3）
  • ARK_API_KEY
  • ARK_MODEL_NAME

对于非 Doubao 提供商，请传入明确的标志：

  • --base-url、--api-key、--model

如果未提供模型，则默认使用：doubao-seed-1-6-vision-250815。

脚本

路径：scripts/ai_vision.ts

运行方式：

npx tsx scripts/ai_vision.ts --help

日志级别（用于排查原始模型响应）：

npx tsx scripts/ai_vision.ts --log-level debug <command> [flags]

输出格式：

  • 设置 --log-json 时，日志以 JSON 格式输出。
  • 否则，最终结果将以格式化的 JSON 输出；TTY 可用时，日志会以彩色显示。
AIQuery
npx tsx scripts/ai_vision.ts query \
  --screenshot ~/.eval/screenshots/ui_YYYYMMDD_HHMMSS.png \
  --prompt "请识别屏幕上的‘搜索’按钮，并返回其坐标"
AIAssert
npx tsx scripts/ai_vision.ts assert \
  --screenshot ~/.eval/screenshots/ui_YYYYMMDD_HHMMSS.png \
  --prompt "当前页面包含搜索框"
plan-next（单步规划）
npx tsx scripts/ai_vision.ts plan-next \
  --screenshot ~/.eval/screenshots/ui_YYYYMMDD_HHMMSS.png \
  --prompt "点击放大镜图标进入搜索页"

输出说明

  • plan-next 返回经过规范化的下一步操作，包含绝对像素坐标。
  • 如果模型输出相对坐标（1000x1000），脚本会将其缩放为屏幕像素。
  • 结合 adb/hdc 操作（例如，adb shell input tap X Y）即可控制设备。
  • 使用 --log-level debug 输出原始模型响应以便排查问题。

默认模型（Doubao）

  • doubao-seed-1-8-251228
  • doubao-seed-1-6-vision-250815

参考资料

  • references/doubao-api.md

评论

支持 Markdown