关于 fiftyone-mcp-server
FiftyOne MCP Server 供计算机视觉团队和 AI Agent 检查并操作 FiftyOne 数据集及应用。工具涵盖数据管理、实时界面控制、操作器和插件管理,并可通过插件扩展能力。
主要功能
- 01列出、加载和汇总数据集
- 02控制 FiftyOne 应用界面
- 03发现并运行操作器
- 04管理插件
- 05查询聚合数据并编辑样本
适用场景
- 01为分析汇总数据集
- 02按置信度阈值筛选样本
- 03查找相似或近重复图像
- 04为数据集工作流安装插件
MCP 相关
提供数据集操作、应用控制、操作器、管道、插件、聚合、样本、模式和应用配置等 MCP 工具。SDK 模式的数据工具无需连接应用;界面控制需要连接浏览器。
配置
本地服务的配置在各客户端中通用,复制后粘贴到客户端的 MCP 配置文件即可。
工具
本地服务需要在你的电脑上运行后才能读取工具,维护者暂未提供工具列表。
详细介绍
FiftyOne MCP 服务
什么是 FiftyOne MCP 服务?
让 Agent 能够通过自然语言探索数据集、执行算子并控制 FiftyOne App。该服务提供 45+ 个 MCP 工具,涵盖数据操作、App UI 控制以及完整的算子/插件生态。
"List all my datasets"
"Load quickstart dataset and show summary"
"Find similar images in my dataset"
该服务启动时带有 50 个内置算子。安装插件可扩展功能 —— AI 可以在需要时自动发现并安装插件(brain、zoo、annotation、evaluation 等)。
可用工具
| 类别 | 工具 | 描述 |
|---|---|---|
| 📊 数据集管理 | 3 | 列出、加载和汇总数据集 |
| 🎯 App 操作 | 29 | 控制 App UI(视图、面板、选择等) |
| ⚡ 算子系统 | 3 | 发现并执行任意 FiftyOne 算子 |
| 🔄 流水线 | 2 | 运行流水线并管理委派操作 |
| 🔌 插件管理 | 5 | 发现、安装和管理插件 |
| 🖥️ 会话 | 1 | 启动 FiftyOne App 服务 |
| 📈 聚合 | 8 | 计数、去重、边界、均值、直方图等 |
| 🧬 样本 | 5 | 在样本上添加、标记、取消标记和设置值 |
| 🗂️ 模式 | 2 | 检查并修改数据集字段模式 |
| 🎨 App 配置 | 6 | 配色方案、侧边栏分组、活动字段 |
工具模式
45+ 个工具按运行时模式组织:
- SDK:可在任何环境中运行的数据操作(数据集、聚合、模式、样本、算子、插件)。无需连接 App。
- APP:实时控制 FiftyOne App UI(set_view、open_panel、notify、select_samples、reload 等 25+ 个)。需要通过
ctx.ops连接浏览器。 - SESSION:用于启动本地 App 服务的引导工具(launch_app)。在终端环境中使用。
选择你的工具
可用的工具取决于你如何集成该服务:
| 集成方式 | 模式 | 使用场景 |
|---|---|---|
| FiftyOne App 插件 | app + sdk | App 内的 Agent 面板(完整的 UI 控制 + 数据操作) |
| 终端 / 命令行 | session + sdk | 无头 Agent(启动 App、查询数据、执行算子) |
工具风险级别
每个工具都带有风险级别标签,你的 Agent 可据此做出自动批准决策:
LOW可安全自动执行,无需提示(只读查询、UI 状态变更)OPERATOR封装了 FiftyOne 算子,执行前应检查其自身的严重性级别
快速开始
第 1 步:安装 MCP 服务
pip install fiftyone-mcp-server
⚠️ 重要: 在配置 AI 工具时,请确保使用你安装 MCP 服务时所用的同一个 Python 环境。如果你将其安装在虚拟环境或 conda 环境中,则必须激活该环境,或指定可执行文件的完整路径。
第 2 步:配置你的 AI 工具
Claude Code(推荐)
claude mcp add fiftyone -- fiftyone-mcp
Claude Desktop
编辑 ~/Library/Application Support/Claude/claude_desktop_config.json:
{
"mcpServers": {
"fiftyone": {
"command": "fiftyone-mcp"
}
}
}
ChatGPT Desktop
编辑 ~/Library/Application Support/ChatGPT/config.json:
{
"mcpServers": {
"fiftyone": {
"command": "fiftyone-mcp"
}
}
}
uvx(无需安装)
如果你已安装 uv:
{
"mcpServers": {
"fiftyone": {
"command": "uvx",
"args": ["fiftyone-mcp-server"]
}
}
}
这会自动下载并运行最新版本。
第 3 步:使用它
"List all my datasets"
"Load quickstart dataset and show summary"
"Open the map panel and show me the embeddings"
"Select samples with confidence above 0.9"
"What plugins are available? Install the brain plugin"
"Find near-duplicate images in my dataset"
Claude 会自动发现算子并执行相应的工具。
贡献
我们欢迎贡献!以下是搭建本地开发环境的方法:
-
克隆仓库
git clone https://github.com/voxel51/fiftyone-mcp-server.git cd fiftyone-mcp-server -
安装依赖项
poetry install -
在本地运行服务
poetry run fiftyone-mcp -
测试你的更改
poetry run pytest poetry run black -l 79 src/ npx @modelcontextprotocol/inspector poetry run fiftyone-mcp -
提交 Pull Request
资源
| 资源 | 描述 |
|---|---|
| FiftyOne 文档 | 官方文档 |
| FiftyOne Skills | 面向 AI 助手的专家工作流 |
| FiftyOne 插件 | 官方插件合集 |
| Model Context Protocol | MCP 规范 |
| PyPI 包 | PyPI 上的 MCP 服务 |
| Discord 社区 | 获取帮助并分享想法 |
社区
加入 FiftyOne 社区,获取帮助、分享想法,并与其他用户交流:
- Discord:FiftyOne 社区
- GitHub Issues:报告 bug 或请求新功能
Copyright 2017-2026, Voxel51, Inc. · Apache 2.0 License
评论
一个开放协议,规定了 AI 应用如何以统一方式连接外部工具与数据源。客户端负责与模型对话,MCP 服务负责提供工具、资源和提示模板,两者通过标准消息通信,同一个服务可以被不同客户端复用。
