mcpField
M
minimax-image-understanding

minimax-image-understanding

github.com/imsusクリエイティブ・メディア15556 回インストール29 週間前に更新
リポジトリ

minimax-image-understanding について

MiniMax Image Understanding Skillは、URL、ローカルパス、Base64データの画像をプロンプトに応じて分析するスキルです。JPEG、PNG、WebPに対応し、OCRやスクリーンショット、デザインの確認に利用できます。

主な機能

  1. 01URL・ローカルパス・データURLの画像処理
  2. 02プロンプトに基づく画像への回答
  3. 03画像からのテキスト抽出
  4. 04スクリーンショットとUIの分析
  5. 05JPEG・PNG・WebPに対応

活用シーン

  1. 01スクリーンショット内のエラー確認
  2. 02コードや文書の文字起こし
  3. 03UIデザイン案のレビュー
  4. 04チャートや写真の説明

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/imsus/pi-extension-minimax-coding-plan-mcp --skill minimax-image-understanding

インストール後、Claude Code で/minimax-image-understandingを入力して読み込まれたか確認します。

詳細

MiniMax 画像理解スキル

画像を分析、説明したり、画像から情報を抽出したりする必要がある場合に、このスキルを使用します。

使用方法

プロンプトと画像の URL を指定して、understand_image ツールを直接呼び出します。

understand_image({
  prompt: "Your question about the image",
  image_url: "https://example.com/image.png"
})

使用する場面

次のような場合に understand_image を使用します。

  • スクリーンショット：エラーメッセージ、UI の問題、スクリーンショット内のコード
  • 視覚的なコンテンツ：写真、図、チャート、グラフ
  • ドキュメント：画像からのテキスト抽出（OCR）、レイアウトの理解
  • UI/UX 分析：デザインの評価、コンポーネントの特定
  • 視覚的なデバッグ：視覚的なバグやレイアウトの問題の把握

使用しない場面

次のような場合は understand_image を使用しないでください。

  • 画像の説明が会話内にすでにある
  • 画像が認識できる単純なアイコンまたは絵文字である
  • 画像が提供されていない、または画像 URL にアクセスできない
  • 既存のコンテキストと重複する（例：ファイルの内容がすでに表示されている）

使用方法

understand_image({
  prompt: "What do you see in this image?",
  image_url: "https://example.com/screenshot.png"
})

API の詳細

エンドポイント：POST {api_host}/v1/coding_plan/vlm

リクエストボディ：

{
  "prompt": "Your question about the image",
  "image_url": "data:image/jpeg;base64,/9j/4AAQ..."
}

レスポンス形式：

{
  "content": "AI analysis of the image...",
  "base_resp": {
    "status_code": 0,
    "status_msg": "success"
  }
}

画像処理

このツールは、次の 3 種類の画像入力を自動的に処理します。

  1. HTTP/HTTPS URL：画像をダウンロードし、base64 に変換します

    • 例：https://example.com/image.jpg

  2. ローカルファイルパス：ローカルファイルを読み込み、base64 に変換します

    • 絶対パス：/Users/username/Documents/image.png
    • 相対パス：images/photo.png
    • @ プレフィックスがある場合は削除します

  3. Base64 データ URL：既存の base64 データをそのまま渡します

    • 例：data:image/png;base64,iVBORw0KGgo...

画像形式

対応形式：

  • JPEG（.jpg、.jpeg）
  • PNG（.png）
  • WebP（.webp）

非対応形式：

  • PDF、GIF、PSD、SVG、その他の形式

効果的なプロンプトの作成

説明の場合
  • 「この画像に何が写っているか詳しく説明してください」
  • 「この画像の主な被写体は何ですか？」
  • 「視覚的なスタイルと構図を説明してください」
コード／技術的な内容の場合
  • 「このスクリーンショットにはどのようなコードが表示されていますか？」
  • 「この画像からすべてのテキストを抽出してください」
  • 「使用されている UI フレームワーク／コンポーネントを特定してください」
分析の場合
  • 「この UI デザインを分析してください。優れている点と改善できる点は何ですか？」
  • 「この画像からどのような感情や雰囲気が伝わりますか？」
  • 「このデザインを Material Design の原則と比較してください」
OCR／テキスト抽出の場合
  • 「この画像からすべてのテキストを抽出してください」
  • 「このスクリーンショットのエラーメッセージを読んでください」
  • 「この画像のラベルには何と書かれていますか？」

例

エラー分析
understand_image({
  prompt: "What is the error message and where is it located in this screenshot?",
  image_url: "./error-screenshot.png"
})
コードのスクリーンショット
understand_image({
  prompt: "What code is shown in this screenshot? Please transcribe it exactly.",
  image_url: "https://example.com/code.png"
})
デザインレビュー
understand_image({
  prompt: "Analyze this UI design. What is working well and what could be improved?",
  image_url: "https://example.com/mockup.png"
})
OCR
understand_image({
  prompt: "Extract all text from this image",
  image_url: "/Users/username/Documents/scan.png"
})

ヒント

  1. 知りたい内容をプロンプトで具体的に指定します
  2. 構造化された出力が必要な場合は、形式を指定します（例：「すべての要素を列挙してください」）
  3. 画像がより大きなタスクの一部である場合は、コンテキストを含めます
  4. スクリーンショットの場合、ページ全体が必要か、特定の領域だけが必要かを指定します
  5. 複雑な分析では確認プロンプトが表示されることがあります（分析、抽出、説明、認識、文字起こし、読み取り）

エラー処理

  • ステータスコード 1004：認証エラーです。API キーとリージョンを確認してください
  • ステータスコード 2038：実名認証が必要です
  • 無効な画像：ファイルが存在しないか、URL にアクセスできません
  • 非対応形式：画像形式が JPEG、PNG、WebP ではありません

コメント

Markdown 対応