glmv-caption

GLM-V キャプションスキル

ZhiPu GLM-V マルチモーダルモデルを使用して、画像、動画、ドキュメントのキャプションを生成します。

使用する場面

• 画像／動画／ドキュメントの内容を説明、キャプション化、要約、解釈する場合
• ユーザーが「この画像を説明して」「キャプション」「この動画を要約して」「图片描述」「视频摘要」「文档解读」「看图说话」といった表現を使用した場合
• メディアファイルから視覚情報またはテキスト情報を抽出する場合
• 複数の画像を比較する場合
• ユーザーが画像／動画／ファイルを提供し、その内容を尋ねた場合

対応する入力タイプ

タイプ	形式	最大サイズ	最大数	Base64
画像	jpg, png, jpeg	5MB / 6000×6000px	50	✅
動画	mp4, mkv, mov	200MB	—	❌
ファイル	pdf, docx, txt, xlsx, pptx, jsonl	—	50	❌

⚠️ 同じリクエスト内で、file_urlをimage_urlまたはvideo_urlと併用することはできません。 ⚠️ 動画とファイルはURLのみ対応しています。ローカルパスとbase64は対応していません（画像のみ対応）。

リソースリンク

リソース	リンク
APIキーを取得	https://bigmodel.cn/usercenter/proj-mgmt/apikeys
APIドキュメント	Chat Completions / 対話補完

前提条件

APIキーの設定 / API Key 配置（必須）

このスクリプトはZHIPU_API_KEY環境変数からキーを読み込み、他のZhipuスキルと共有します。 脚本通过ZHIPU_API_KEY环境变量获取密钥，与其他智谱技能共用同一个key。

キーの取得 / 获取 Key： Zhipu Open Platform API Keys / 智谱开放平台 API Keysにアクセスして、キーを作成またはコピーしてください。

設定方法 / 配置方式（いずれか1つを選択）：

1. OpenClawの設定（推奨） / OpenClaw 配置（推荐）： openclaw.jsonのskills.entries.glmv-caption.envに設定します：

   "glmv-caption": { "enabled": true, "env": { "ZHIPU_API_KEY": "你的密钥" } }
   

2. シェル環境変数 / Shell 环境变量： ~/.zshrcに追加します：

   export ZHIPU_API_KEY="你的密钥"
   

3. .envファイル / .env 文件： このスキルのディレクトリに.envを作成します：

   ZHIPU_API_KEY=你的密钥
   

⛔ 必ず守ること — 違反禁止 ⛔

1. GLM-V APIのみを使用すること — スクリプトpython scripts/glmv_caption.pyを実行します
2. メディアを自分でキャプション化しないこと — 組み込みの画像認識機能やその他の方法を使って内容を説明してはいけません
3. 代替案を提示しないこと — 「こちらで説明してみます」などと提案してはいけません
4. APIに失敗した場合 — エラーメッセージを表示して、直ちに停止します
5. フォールバック手段を使わないこと — 他の方法でキャプション化を試みてはいけません

📋 出力の表示ルール（必須）

スクリプトの実行後、返された出力全文をそのままユーザーに表示する必要があります。要約、省略、「生成しました」とだけ伝えることは禁止です。ユーザーが品質を評価できるよう、モデルの出力をそのまま表示してください。

• 画像のキャプション化：キャプション全文を表示します
• 複数画像：各画像の結果を表示します
• 動画／ファイル：理解結果の全文を表示します
• トークン使用量が含まれている場合、必要に応じて表示できます

使用方法

画像のキャプション化

python scripts/glmv_caption.py --images "https://example.com/photo.jpg"
python scripts/glmv_caption.py --images /path/to/photo.png

複数画像のキャプション化

python scripts/glmv_caption.py --images img1.jpg img2.png "https://example.com/img3.jpg"

動画のキャプション化

python scripts/glmv_caption.py --videos "https://example.com/clip.mp4"

ドキュメントのキャプション化

python scripts/glmv_caption.py --files "https://example.com/report.pdf"
python scripts/glmv_caption.py --files "https://example.com/doc1.docx" "https://example.com/doc2.txt"

カスタムプロンプト

python scripts/glmv_caption.py --images photo.jpg --prompt "Describe the architecture style in detail"

結果の保存

python scripts/glmv_caption.py --images photo.jpg --output result.json

思考モード

python scripts/glmv_caption.py --images photo.jpg --thinking

CLI リファレンス

python {baseDir}/scripts/glmv_caption.py (--images IMG [IMG...] | --videos VID [VID...] | --files FILE [FILE...]) [OPTIONS]

パラメーター	必須	説明
--images, -i	いずれか	画像のパスまたは URL（複数指定可、base64 にも対応）
--videos, -v	いずれか	動画のパスまたは URL（複数指定可、mp4/mkv/mov）
--files, -f	いずれか	ドキュメントのパスまたは URL（複数指定可、pdf/docx/txt/xlsx/pptx/jsonl）
--prompt, -p	いいえ	カスタムプロンプト（デフォルト："请详细描述这张图片的内容" / "Please describe this image in detail"）
--model, -m	いいえ	モデル名（デフォルト：glm-4.6v）
--temperature, -t	いいえ	サンプリング温度 0～1（デフォルト：0.8）
--top-p	いいえ	トップPサンプリング 0.01～1.0（デフォルト：0.6）
--max-tokens	いいえ	最大出力トークン数（デフォルト：1024、最大：32768）
--thinking	いいえ	思考／推論モードを有効にする
--output, -o	いいえ	結果の JSON をファイルに保存する
--pretty	いいえ	JSON 出力を整形する
--stream	いいえ	ストリーミング出力を有効にする

注： API の制限により、--images、--videos、--files は同時に指定できません。

レスポンス形式

{
  "success": true,
  "caption": "A landscape photo showing a mountain range at sunset...",
  "usage": {
    "prompt_tokens": 128,
    "completion_tokens": 256,
    "total_tokens": 384
  }
}

主なフィールド：

• success — リクエストが成功したかどうか
• caption — 生成されたキャプションテキスト
• usage — トークン使用量の統計
• warning — コンテンツが安全性審査でブロックされた場合に表示
• error — 失敗時のエラー詳細

エラーハンドリング

API キーが設定されていない場合：

ZHIPU_API_KEY not configured. Get your API key at: https://bigmodel.cn/usercenter/proj-mgmt/apikeys

→ ユーザーに正確なエラーを表示し、設定方法を案内します

認証失敗（401/403）： API キーが無効または期限切れです → 再設定してください

レート制限（429）： クォータを使い切っています → 待つようユーザーに伝えてください

ファイルが見つからない場合： ローカルファイルがありません → パスを確認してください

コンテンツがフィルタリングされた場合： warning フィールドが存在します → コンテンツが安全性審査でブロックされました