mcpField
A
ai-vision

ai-vision

github.com/httprunnerエージェントワークフロー288 回インストール35 週間前に更新
リポジトリ

ai-vision について

スクリーンショットをマルチモーダルモデルに送り、UI の問い合わせや状態確認、単一ステップの操作計画を行う独立した CLI スキルです。実行と複数ステップの制御は、デバイスドライバーを使うエージェントが別途担います。

主な機能

  1. 01スクリーンショットから UI 要素を検索
  2. 02画面上の状態を検証
  3. 03次の操作を正規化して計画
  4. 04モデルのエンドポイントと認証情報を設定
  5. 05構造化 JSON を出力

活用シーン

  1. 01スクリーンショット内の UI 要素を特定
  2. 02画面が条件を満たすか確認
  3. 03次の操作に使う座標を取得
  4. 04モデル出力を外部デバイスドライバーに渡す

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/httprunner/skills --skill ai-vision

インストール後、Claude Code で/ai-visionを入力して読み込まれたか確認します。

同梱ファイル

SKILL.md と一緒にインストールされる参考資料やスクリプト。

package-lock.json
package.json
tsconfig.json
agents/
openai.yaml
references/
doubao-api.md
scripts/
ai_vision.ts

詳細

AI Vision

概要

このスキルは、UI のクエリ、アサーション、単一ステップの計画にマルチモーダルモデルを呼び出すための、スタンドアロンの CLI を提供します。デバイスの種類には依存せず、スクリーンショットを渡すと、構造化された出力（座標、判断、または次のアクション）が返されます。実行と複数ステップのループは、adb/hdc やその他のドライバーを使用するエージェントが外部で処理します。スクリーンショットは ~/.eval/screenshots/ に保存し、上書きを避けるためにタイムスタンプを追加することをおすすめします。

パスの規約

標準のインストールおよび実行ディレクトリ：~/.agents/skills/ai-vision/。このディレクトリからコマンドを実行してください：

cd ~/.agents/skills/ai-vision

単発実行（任意の作業ディレクトリからスクリプトやループ内で安全に実行できます）：

(cd ~/.agents/skills/ai-vision && npx tsx scripts/ai_vision.ts --help)

モデルの設定

環境変数を使用する Doubao のデフォルト設定：

  • ARK_BASE_URL（例：https://ark.cn-beijing.volces.com/api/v3）
  • ARK_API_KEY
  • ARK_MODEL_NAME

Doubao 以外のプロバイダーでは、明示的なフラグを渡してください：

  • --base-url、--api-key、--model

何も指定されていない場合のデフォルトモデル：doubao-seed-1-6-vision-250815。

スクリプト

パス：scripts/ai_vision.ts

次のコマンドで実行します：

npx tsx scripts/ai_vision.ts --help

ログレベル（トラブルシューティング用の生のモデル応答）：

npx tsx scripts/ai_vision.ts --log-level debug <command> [flags]

出力形式：

  • --log-json を設定すると、ログは JSON として出力されます。
  • それ以外の場合、最終結果は整形された JSON で出力され、TTY が利用可能な場合はログに色が付きます。
AIQuery
npx tsx scripts/ai_vision.ts query \
  --screenshot ~/.eval/screenshots/ui_YYYYMMDD_HHMMSS.png \
  --prompt "请识别屏幕上的‘搜索’按钮，并返回其坐标"
AIAssert
npx tsx scripts/ai_vision.ts assert \
  --screenshot ~/.eval/screenshots/ui_YYYYMMDD_HHMMSS.png \
  --prompt "当前页面包含搜索框"
plan-next（単一ステップの計画）
npx tsx scripts/ai_vision.ts plan-next \
  --screenshot ~/.eval/screenshots/ui_YYYYMMDD_HHMMSS.png \
  --prompt "点击放大镜图标进入搜索页"

出力に関する注意

  • plan-next は、絶対ピクセル座標を含む正規化された次のアクションを返します。
  • モデルが相対座標（1000x1000）を出力した場合、スクリプトが画面ピクセル単位に変換します。
  • デバイスを制御するには、adb/hdc の操作（例：adb shell input tap X Y）と組み合わせます。
  • トラブルシューティングのため、生のモデル応答を出力するには --log-level debug を使用します。

デフォルトモデル（Doubao）

  • doubao-seed-1-8-251228
  • doubao-seed-1-6-vision-250815

参考資料

  • references/doubao-api.md

コメント

Markdown 対応