mcpField
M
minimax-image-understanding

minimax-image-understanding

github.com/imsus创意与媒体15556 次安装29 周前更新
代码仓库

关于 minimax-image-understanding

MiniMax Image Understanding Skill 根据提示词分析 URL、本地路径或 Base64 数据中的图像，可用于视觉检查、OCR、截图与设计分析，支持 JPEG、PNG 和 WebP。

主要功能

  1. 01处理 URL、本地路径或数据 URL 图像
  2. 02根据提示词回答视觉问题
  3. 03从图像提取文本
  4. 04分析截图与 UI
  5. 05支持 JPEG、PNG 和 WebP

适用场景

  1. 01读取截图中的错误信息
  2. 02转录代码或文档文字
  3. 03评审 UI 设计稿
  4. 04描述图表或照片

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/imsus/pi-extension-minimax-coding-plan-mcp --skill minimax-image-understanding

安装后在 Claude Code 中输入/minimax-image-understanding确认已加载。

详细介绍

MiniMax 图像理解 Skill

当你需要分析、描述或提取图像信息时，请使用此 Skill。

使用方法

直接调用 understand_image 工具，并提供提示词和图像 URL：

understand_image({
  prompt: "Your question about the image",
  image_url: "https://example.com/image.png"
})

适用场景

在以下情况下使用 understand_image：

  • 屏幕截图：错误消息、UI 问题、屏幕截图中的代码
  • 视觉内容：照片、示意图、图表、曲线图
  • 文档：从图像中提取文本（OCR）、理解布局
  • UI/UX 分析：评估设计、识别组件
  • 视觉调试：理解视觉错误或布局问题

不适用场景

在以下情况下请勿使用 understand_image：

  • 图像已有描述：对话中已经描述了该图像
  • 图像是简单图标：或者是你认识的表情符号
  • 未提供图像：或者图像 URL 无法访问
  • 与现有上下文重复：例如，文件内容已经可见

用法

understand_image({
  prompt: "What do you see in this image?",
  image_url: "https://example.com/screenshot.png"
})

API 详情

端点：POST {api_host}/v1/coding_plan/vlm

请求正文：

{
  "prompt": "Your question about the image",
  "image_url": "data:image/jpeg;base64,/9j/4AAQ..."
}

响应格式：

{
  "content": "AI analysis of the image...",
  "base_resp": {
    "status_code": 0,
    "status_msg": "success"
  }
}

图像处理

该工具会自动处理三种类型的图像输入：

  1. HTTP/HTTPS URL：下载图像并转换为 base64

    • 示例：https://example.com/image.jpg

  2. 本地文件路径：读取本地文件并转换为 base64

    • 绝对路径：/Users/username/Documents/image.png
    • 相对路径：images/photo.png
    • 如果存在 @ 前缀，则将其移除

  3. Base64 数据 URL：直接传递现有的 base64 数据

    • 示例：data:image/png;base64,iVBORw0KGgo...

图像格式

支持：

  • JPEG（.jpg、.jpeg）
  • PNG（.png）
  • WebP（.webp）

不支持：

  • PDF、GIF、PSD、SVG 及其他格式

编写有效的提示词

描述
  • “详细描述这张图像中的内容”
  • “这张图像的主体是什么？”
  • “描述视觉风格和构图”
代码/技术内容
  • “这张屏幕截图中显示了什么代码？”
  • “提取图像中的所有文本”
  • “识别使用的 UI 框架/组件”
分析
  • “分析这个 UI 设计。有哪些设计做得很好？哪些方面可以改进？”
  • “这张图像传达了什么情绪或氛围？”
  • “将这个设计与 Material Design 原则进行比较”
OCR/文本提取
  • “提取图像中的所有文本”
  • “读取这张屏幕截图中的错误消息”
  • “这张图像中的标签写了什么？”

示例

错误分析
understand_image({
  prompt: "What is the error message and where is it located in this screenshot?",
  image_url: "./error-screenshot.png"
})
代码屏幕截图
understand_image({
  prompt: "What code is shown in this screenshot? Please transcribe it exactly.",
  image_url: "https://example.com/code.png"
})
设计评审
understand_image({
  prompt: "Analyze this UI design. What is working well and what could be improved?",
  image_url: "https://example.com/mockup.png"
})
OCR
understand_image({
  prompt: "Extract all text from this image",
  image_url: "/Users/username/Documents/scan.png"
})

提示

  1. 在提示词中具体说明你想了解什么
  2. 如果需要结构化输出，请注明格式（例如，“列出所有元素”）
  3. 如果图像属于更大的任务，请提供上下文
  4. 对于屏幕截图，请说明你需要整页内容还是特定区域
  5. 复杂分析可能会触发确认提示（分析、提取、描述、识别、转录、读取）

错误处理

  • 状态码 1004：身份验证错误——请检查 API 密钥和区域
  • 状态码 2038：需要实名认证
  • 无效图像：文件不存在或 URL 无法访问
  • 不支持的格式：图像格式不是 JPEG、PNG 或 WebP

评论

支持 Markdown