MCP Server for CVDLT(Computer Vision & Deep Learning Tools)

CVDLT（Computer Vision & Deep Learning Tools）用 MCP サーバー

このリポジトリは、Ultralytics と Python SDK の Model Context Protocol に基づいています。 関連リンク：

MCP Playground（クライアント） - https://github.com/MRonaldo-gif/mcp-playground-local

Ultralytics - https://github.com/ultralytics/ultralytics

Python の MCP - https://github.com/modelcontextprotocol/python-sdk

画像の物体検出、セグメンテーション、姿勢推定を行う Model Context Protocol（MCP）を実装した Python サーバーです。

機能

• YOLOv10 を使用した画像内の物体検出
• YOLOv8 を使用した画像内の物体のセグメンテーション
• Ultralytics SAM を使用した画像全体のセグメンテーション
• YOLOv8 を使用した画像内の人物の姿勢推定
• ローカルおよびネットワーク上の画像入力に対応
• クライアントとのやり取りのための MCP ツール統合
• Stdio および SSE トランスポートプロトコル

注：サーバーを使用するには、有効な画像パスまたは URL と、次のモデルファイルへのアクセスが必要です：yolov10b.pt（YOLOv10 による検出）、yolov8n-seg.pt（YOLOv8 によるセグメンテーション）、yolov8n-pose.pt（YOLOv8 による姿勢推定）、および sam_b.pt（Ultralytics SAM）。

TODO

• 3D 検出
• AIGC（GAN、Diffusion）
• 高密度推定
• DL（Deep Learning）モデルのデプロイ

クイックスタート

依存関係のインストール

uv sync
//如需要清华源
uv sync --index https://pypi.tuna.tsinghua.edu.cn/simple --extra-index-url https://pypi.org/simple

uv pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

サーバーの起動

1. stdio モード：

   python server.py
   

   出力：

   使用 stdio 传输启动 MCP 服务器（YOLO）
   

2. SSE モード：

   python server.py sse [端口号]
   

   例：

   python server.py sse 8080
   

   出力：

   在端口 8080 上启动 MCP 服务器（YOLO），使用 SSE 传输
   

また、ユーザーは重みを ./checkpoints ディレクトリにダウンロードする必要があります。 ダウンロードリンク🔗：https://docs.ultralytics.com/models/yolov10/，https://docs.ultralytics.com/models/yolov8/，https://docs.ultralytics.com/models/sam-2/

├── checkpoints │ ├── sam_b.pt │ ├── yolov10b.pt │ ├── yolov8n-pose.pt │ └── yolov8n-seg.pt

API

リソース

• image://system：画像処理操作のインターフェース

ツール

• detect_objects
  • YOLOv10 を使用して画像内の物体を検出します
  • 入力：image_url（文字列）
  • ローカルパス（file:// または相対パス）とネットワーク URL（http:// または https://）に対応します
  • 検出された物体のバウンディングボックス、信頼度スコア、クラスラベルを含む JSON 配列を返します
  • 出力例：[{"box": [x, y, w, h], "confidence": 0.9, "class": "person"}, ...]
• segment_objects
  • YOLOv8 を使用して画像内の物体をセグメンテーションします
  • 入力：image_url（文字列）
  • ローカルパス（file:// または相対パス）とネットワーク URL（http:// または https://）に対応します
  • セグメンテーションされた物体のバウンディングボックス、信頼度スコア、クラスラベルを含む JSON 配列を返します
  • 出力例：[{"box": [x, y, w, h], "confidence": 0.85, "class": "car"}, ...]
• segment_image
  • Ultralytics SAM を使用して画像全体をセグメンテーションします
  • 入力：image_url（文字列）
  • ローカルパス（file:// または相対パス）とネットワーク URL（http:// または https://）に対応します
  • セグメンテーションされた領域のバウンディングボックス、面積、信頼度スコアを含む JSON 配列を返します
  • 出力例：[{"bbox": [x, y, w, h], "area": 2500, "confidence": 0.95}, ...]
• estimate_pose
  • YOLOv8 を使用して画像内の人物の姿勢を推定します
  • 入力：image_url（文字列）
  • ローカルパス（file:// または相対パス）とネットワーク URL（http:// または https://）に対応します
  • 検出された姿勢のキーポイント座標と信頼度スコアを含む JSON 配列を返します
  • 出力例：[{"keypoints": [[x1, y1], [x2, y2], ...], "confidence": [0.9, 0.8, ...]}, ...]

Claude Desktop での使用

claude_desktop_config.json に次の内容を追加します：

注：サーバーに /projects としてマウントすることで、サンドボックス化されたディレクトリをサーバーに渡せます。ro フラグを追加すると、サーバーからディレクトリへの書き込みが禁止されます。

SSE

{
  "mcpServers": {
    "server-with-yolo": {
      "url": "http://localhost:8080/sse"
    }
  }
}