MCP Server for CVDLT(Computer Vision & Deep Learning Tools)

CVDLT（计算机视觉与深度学习工具）MCP 服务

该仓库基于 Ultralytics 和 Python SDK 的 Model Context Protocol 相关链接：

MCP Playground（客户端）- https://github.com/MRonaldo-gif/mcp-playground-local

Ultralytics - https://github.com/ultralytics/ultralytics

Python 的 MCP - https://github.com/modelcontextprotocol/python-sdk

使用 Python 实现的 Model Context Protocol（MCP）服务，用于执行图像目标检测、分割和姿态估计操作。

功能

• 使用 YOLOv10 检测图像中的目标
• 使用 YOLOv8 分割图像中的目标
• 使用 Ultralytics SAM 分割整张图像
• 使用 YOLOv8 估计图像中的人体姿态
• 支持本地和网络图像输入
• 集成 MCP 工具以便客户端交互
• 支持 Stdio 和 SSE 传输协议

注意：服务需要有效的图像路径或 URL，并且需要能够访问以下模型文件：yolov10b.pt（YOLOv10 检测）、yolov8n-seg.pt（YOLOv8 分割）、yolov8n-pose.pt（YOLOv8 姿态估计）和 sam_b.pt（Ultralytics SAM）。

待办事项

• 3D 检测
• AIGC（GAN、Diffusion）
• 稠密估计
• 部署深度学习模型

快速开始

安装依赖项

uv sync
//如需要清华源
uv sync --index https://pypi.tuna.tsinghua.edu.cn/simple --extra-index-url https://pypi.org/simple

uv pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

启动服务

1. stdio 模式：

   python server.py
   

   输出：

   使用 stdio 传输启动 MCP 服务器（YOLO）
   

2. SSE 模式：

   python server.py sse [端口号]
   

   示例：

   python server.py sse 8080
   

   输出：

   在端口 8080 上启动 MCP 服务器（YOLO），使用 SSE 传输
   

此外，用户需要将权重下载到 ./checkpoints 目录中。 下载链接🔗：https://docs.ultralytics.com/models/yolov10/，https://docs.ultralytics.com/models/yolov8/，https://docs.ultralytics.com/models/sam-2/

├── checkpoints │ ├── sam_b.pt │ ├── yolov10b.pt │ ├── yolov8n-pose.pt │ └── yolov8n-seg.pt

API

资源

• image://system：图像处理操作接口

工具

• detect_objects
  • 使用 YOLOv10 检测图像中的目标
  • 输入：image_url（字符串）
  • 支持本地路径（file:// 或相对路径）和网络 URL（http:// 或 https://）
  • 返回检测到的目标的 JSON 数组，包含边界框、置信度分数和类别标签
  • 输出示例：[{"box": [x, y, w, h], "confidence": 0.9, "class": "person"}, ...]
• segment_objects
  • 使用 YOLOv8 分割图像中的目标
  • 输入：image_url（字符串）
  • 支持本地路径（file:// 或相对路径）和网络 URL（http:// 或 https://）
  • 返回分割后目标的 JSON 数组，包含边界框、置信度分数和类别标签
  • 输出示例：[{"box": [x, y, w, h], "confidence": 0.85, "class": "car"}, ...]
• segment_image
  • 使用 Ultralytics SAM 分割整张图像
  • 输入：image_url（字符串）
  • 支持本地路径（file:// 或相对路径）和网络 URL（http:// 或 https://）
  • 返回分割区域的 JSON 数组，包含边界框、面积和置信度分数
  • 输出示例：[{"bbox": [x, y, w, h], "area": 2500, "confidence": 0.95}, ...]
• estimate_pose
  • 使用 YOLOv8 估计图像中的人体姿态
  • 输入：image_url（字符串）
  • 支持本地路径（file:// 或相对路径）和网络 URL（http:// 或 https://）
  • 返回检测到的姿态的 JSON 数组，包含关键点坐标和置信度分数
  • 输出示例：[{"keypoints": [[x1, y1], [x2, y2], ...], "confidence": [0.9, 0.8, ...]}, ...]

在 Claude Desktop 中使用

将以下内容添加到 claude_desktop_config.json：

注意：你可以将沙盒目录挂载到 /projects，以便服务访问这些目录。添加 ro 标志后，服务将只能以只读方式访问该目录。

SSE

{
  "mcpServers": {
    "server-with-yolo": {
      "url": "http://localhost:8080/sse"
    }
  }
}