roboflow-training-and-evaluation

面向 Agent： 此技能由 roboflow/computer-vision-skills 编写。如果你的客户端已将其作为技能加载（例如通过 Roboflow 插件），请使用该副本。roboflow://skills/<name>/... MCP 资源会为尚未加载这些技能的客户端提供相同的技能。

在 Roboflow 上训练与评估

训练流程

Upload/Annotate Images
  → Generate Dataset Version (preprocessing + augmentation + train/val/test split)
    → Pick Model Architecture + Size
      → Pick Checkpoint (COCO, Universe model, or previous version)
        → Train
          → Evaluate (auto-runs for paid users)

版本 = 冻结快照。 创建版本后，对项目所做的更改不会影响该版本。生成版本时配置预处理（调整大小、对比度等）和数据增强（翻转、旋转、马赛克等）。

可用模型架构

目标检测

架构	规格	默认分辨率	说明
RF-DETR	Pico、Nano、Small、Base、Medium、Large、XL、2XL	384-880（因规格而异）	在列出的规格中准确率最高；参见 RF-DETR NAS
Roboflow 3.0	Fast、Accurate、Medium、Large、XL	640x640	基于 YOLOv8。Medium 及更高规格需要付费套餐
YOLO26	n/s/m/l/x	640x640	也支持分割和姿态估计
YOLOv12	n/s/m/l/x	640x640	仅支持目标检测
YOLOv11	n/s/m/l/x	640x640	也支持分割和姿态估计
YOLOv8	n/s/m/l/x	640x640	也支持分割和姿态估计
YOLO-NAS	Small、Medium	640x640
YOLOLite CPU	n/s/m/l/x	640x640	针对边缘设备优化，测试版
YOLOLite GPU	n/s/m/l/x	640x640	针对边缘设备优化，测试版
Roboflow Instant	单一规格	N/A（不调整大小）	小样本、免费，仅支持目标检测

实例分割

架构	规格	默认分辨率
RF-DETR Seg	Nano、Small、Medium、Large、XL、2XL	312-768（因规格而异）
Roboflow 3.0 Seg	Fast、Accurate、Medium、Large、XL	640x640
YOLO-seg	v8/v11/v26（各自提供 n/s/m/l/x）	640x640
SAM 3 (Segment Anything 3)	Large	1008x1008

语义分割

架构	规格	默认分辨率
DeepLabV3+	Base	>=512x512

分类

架构	规格	默认分辨率
ViT	Base	224x224
ResNet	18/34/50/101	224x224
DINOv3	Base、Small	224x224

关键点 / 姿态估计

架构	规格	默认分辨率
YOLO-pose	v8/v11/v26（各自提供 n/s/m/l/x）	640x640

多模态 / VLM

架构	规格	默认分辨率
Qwen3.5	0.8B、2B	448x448
Qwen3 VL	2B	448x448
SmolVLM	256M、2B	384x384
Florence 2	Base、Large	768x768
PaliGemma 2	3B	448x448
Qwen2.5 VL	7B	448x448

模型选择决策树

按照此流程图选择合适的模型。从步骤 1 开始。

1. 任务类型？ OD / 实例分割 / 关键点 → 步骤 2。分类 / 语义分割 / VLM → 直接使用专用部分。
2. 目标类别是否属于 COCO 80 类？ 是 → 步骤 3。否 → 步骤 6。
3. 是否需要实时处理？ 否（图像/录制的视频）→ 步骤 4。是（实时视频）→ 步骤 5。
4. 非实时，COCO — OD / 实例分割 → 优先选择 RF-DETR NAS；若不可用，则使用 Medium 版 RF-DETR（目标检测）或 RF-DETR Seg（实例分割），硬件受限时选 Small，优先考虑准确率时选 XL。关键点 → YOLO26 pose。完成。
5. 实时，COCO — 同上。NAS 是此处最强的选择，因为它会报告针对目标硬件测得的延迟。若不可用，则使用相同系列的 Nano–Small 版本。完成。
6. 非 COCO，属于哪个子任务？ OD → 步骤 7。实例分割 → 步骤 8。关键点 → 步骤 9。
7. OD，非 COCO — 检查 Rapid 的排除条件（见下文）。若符合排除条件 → 步骤 13。否则 → 推荐 Roboflow Rapid（默认选项），或将 SAM3 零样本作为备选 → 步骤 10。
8. 实例分割，非 COCO — 使用 SAM3 零样本（sam3/sam3_final，设置 class_names）。Rapid 不支持分割 → 步骤 10。
9. 关键点，非 COCO — 非实时 → YOLO26 pose Medium–XL。实时 → YOLO26 pose Nano–Small。完成。
10. 是否需要实时处理？ 否 → 尝试模型（步骤 11）。是 → 提醒延迟问题，尝试模型（步骤 12）。
11. 非实时试用 — 用户确认可行 → 完成。 效果不佳 → 步骤 13。
12. 实时试用 — 用户确认可行 → 完成。 效果不佳 → 步骤 13。
13. Universe 模型搜索 — 在 Roboflow Universe 中搜索社区模型。找到合适模型 → 完成。 未找到 → 步骤 14。
14. 自定义训练 — OD / 实例分割 → 优先选择 RF-DETR NAS。若 NAS 不可用，则微调 RF-DETR（目标检测）或 RF-DETR Seg（实例分割），并根据硬件限制选择模型规模。完成。

模型 ID 参考

调用训练工具前，请阅读 model-ids.md。该文件包含确切支持的 model_id 值和 COCO 类别参考。不要猜测模型 ID。

模型选择速查指南

在使用用户的数据训练目标检测或实例分割模型时，请从 NAS 开始。 神经架构搜索会针对这些数据搜索 RF-DETR 空间，并报告速度/准确率前沿，因此最有可能找到适合这些数据的最佳模型。若 NAS 不可用（见下方先决条件）、用户指定了某个模型，或用户只需要一个快速的临时基线模型，则选择单一的指定架构。

本节总结了上方决策树中的训练分支，但不会覆盖决策树的指引。对于非 COCO 请求，决策树可能会先引导至 Roboflow Rapid 或 SAM3 零样本，这两者都不会训练模型——只有在确定采用自定义训练方案后，才适用 NAS。

目标	推荐方案
目标检测——没有明确偏好	RF-DETR NAS（rfdetr-nas-parent）
实例分割——没有明确偏好	RF-DETR NAS Seg（rfdetr-nas-seg-parent）
追求最佳准确率，目标检测，NAS 不可用	RF-DETR（Large 或 XL）
追求快速推理，目标检测，NAS 不可用	RF-DETR Nano 或 YOLOv11n
追求最佳准确率，实例分割，NAS 不可用	RF-DETR Seg
快速概念验证（<1000 张图像）	Roboflow Instant
分类	ViT 或 DINOv3
多模态 / 文本提示词	Qwen3.5 或 SmolVLM

NAS 父模型仅适用于目标检测和实例分割。关键点、分类、语义分割和 VLM 任务均没有 NAS 选项——请使用上文列出的指定模型。

架构对比（扫描）

如果你是在对比架构，而不是选择一种架构，那么只要满足前提条件，就应将 NAS 父模型也纳入候选项——例如，rfdetr-medium、yolo26m 和 rfdetr-nas-parent。为每个候选项各启动一个 trainings_create，并保留每个 trainingId。

在对比结果之前，请先阅读 NAS 结果。其中解释了为什么 recommended 子模型不一定是准确率最高的子模型，以及如何进行公平对比。

NAS 分支所需时间也比单次微调更长，因此请在命名模型分支完成时就报告结果，不要等 NAS 完成。

RF-DETR NAS（神经架构搜索）

与其手动选择单个 RF-DETR 尺寸，不如通过 NAS 训练一个父模型，并从中挖掘出多种架构，报告速度与准确率的前沿表现，让你能选出符合硬件预算的架构。

• 是什么： 一次 NAS 运行会训练一个父模型，然后在该已训练父模型中搜索 RF-DETR 架构空间，以找出前沿候选模型，并报告每个候选模型在目标硬件（例如 Jetson、T4 GPU）上的 mAP 和实测延迟。输出是一组位于帕累托前沿的模型，并根据 Roboflow 当前的排名启发式，在每个（指标，硬件）分组中自动选出一个赢家，以平衡验证准确率和实测延迟。不会单独公开每个分组的赢家：models_list 会将它们合并为每个子模型一个 recommended 布尔值（参见针对特定硬件目标进行选择）。
• **任务：**目标检测（rfdetr-nas）和实例分割（rfdetr-nas-seg）。
• **适用场景：**当你想针对特定部署目标找到速度与准确率的最佳平衡，且不想手动对不同尺寸进行 A/B 测试时。对于延迟预算紧张的边缘硬件尤其有价值。
• 阶段：
  1. 父模型训练——训练搜索所用的唯一父模型。这是耗时的主要部分。
  2. 挖掘——在已训练的父模型中搜索架构并评估候选模型，以构建帕累托前沿（延迟与 mAP）。候选模型源自父模型，而非各自从头训练，因此它们会在运行接近结束时集中出现。每个候选模型都将成为可部署的常规模型。
• **模型 ID：**目标检测使用 rfdetr-nas-parent（Standard——默认使用此项）、rfdetr-nas-pecoret-parent（Fast）、rfdetr-nas-base-parent（Plus）；实例分割使用 rfdetr-nas-seg-parent。
• 前提条件——提供 NAS 前请检查以下两项：
  1. 验证图像不少于 15 张。versions_get 会返回 splits.valid；少于 15 张时，训练调用会因 insufficient_validation_images_for_nas 失败，等待也无济于事——用户必须生成一个验证集划分更大的版本。
  2. **计划权限。**Core 和 Growth 计划包含 NAS；其他计划则需要在工作区中启用。Basic/starter/sandbox/research/trial 计划需要升级；enterprise/legacy 计划需要联系销售。MCP 无法读取权限，因此无法预先检查——没有权限的工作区会在 trainings_create 拒绝运行并返回代码 nas_not_available_for_plan 时得知。将其视为计划限制，而非暂时性错误：不要重试。请改用该任务指定的模型——rfdetr-medium（目标检测）或 rfdetr-seg-medium（实例分割）——并说明当前计划无法使用 NAS，可能需要升级计划或在工作区中启用 NAS；根据错误中的 plan 判断具体情况。不要改用超参数扫描。
• 启动运行：trainings_create(project_id, version_number, model_type="rfdetr-nas-parent")。NAS 通过常规训练工具启动；没有单独的引擎参数。（在 UI 中对应的是带有 ?engine=nas 的 Train 页面。）结果位于 /{workspace}/{project}/nas-runs/{versionId}。
• **无需手动调整：**NAS 父模型唯一的超参数是 epochs（默认值为 200，范围为 100–300）。没有学习率或损失权重参数，因为架构搜索本身就是扫描过程。
• **读取运行结果并选择硬件目标：**在解读子模型指标或选择模型前，请先阅读 NAS 结果。其中介绍了分页、延迟格式以及推荐标记的局限性。
• **部署：**每个 NAS 生成的模型都与其他模型一样部署——选择一个并将其作为常规 Roboflow 模型使用。只有在权威的 recommendedByHardware 条目明确指出时，才称其为硬件推荐的子模型；否则，它只是用户从前沿中选择的子模型。推理类型为 rfdetr-nas / rfdetr-nas-seg，但通过标准推理路径提供服务。
• 参考资料：RF-DETR 论文（arxiv）、ICLR 2026、什么是 NAS？（博客）。

Roboflow Instant / Rapid

Roboflow Instant

• 说明： Few-shot 模型，几分钟内即可训练完成，免费
• 任务： 仅支持目标检测
• 适用场景： PoC、图像少于 1,000 张、快速迭代
• 如果你批准一个批次，且尚不存在 Instant 模型，则会自动训练
• 不进行预处理或数据增强——直接使用原始图像
• 部署： 可像任何已训练模型一样在 Workflows 中使用
• 手动触发：Project > Models > Train Model > Roboflow Instant Model

Roboflow Rapid

• 说明： 交互式标注与训练工作流——SAM3 会为一小组图像生成预标注，用户审核并更正后，系统会自动训练一个快速的自定义目标检测模型。随着模型采集更多生产数据，模型会持续改进。
• 任务： 仅支持非 COCO 类别的目标检测
• 适用场景： 不适用排除条件时，非 COCO 目标检测的默认路径

以下情况不要使用 Rapid：

排除条件	原因
OCR／文本检测（字符、序列号、标签、收据、车牌）	SAM3 无法可靠地分割单个字符
蓝图、平面图、示意图、技术图纸	SAM3 的文本提示无法处理抽象符号和基于线条的元素
目标类别超过 5 个	类别较多时，SAM3 文本提示的准确率会显著下降
细粒度视觉差异（方向正确与否、合格／不合格、细微缺陷）	SAM3 无法区分几乎相同的对象；需要微调模型
高精度测量／计量（距离、尺寸、公差）	SAM3 自动标注的精度不足以用于校准测量

不适用 Rapid 时 → 从第 13 步恢复决策树：先搜索 Universe 模型，然后进行自定义训练；训练从 RF-DETR NAS 开始，如果不满足其先决条件，则回退到具名 RF-DETR。

检查点训练

选项	适用场景
Public Checkpoint（COCO）	第一个模型版本；默认推荐
Universe Checkpoint	先为 Universe 项目加星标，该项目随后会显示为检查点选项。适合特定领域的迁移学习
Previous Version	已有一个表现良好的模型，希望通过更多数据加以改进（分类和 SAM3 除外的所有类型）
Random Initialization	仅适用于高级用户，通常效果更差

训练控制

• Cancel Training： 停止任务，不保存权重。如果在训练早期取消，可获得退款。
• Early Stopping： 停止任务并保存权重。如果图表显示模型已收敛，但仍剩余许多轮次，可使用此选项。按已使用的积分收费。
• NAS Training： 显示成对图表（挖掘进度 + Pareto 曲线，随后显示各模型的训练曲线）。达到收敛时可能会自动停止。请参阅下文的 RF-DETR NAS 部分。

训练后指标

指标因项目类型而异：

项目类型	显示的指标
目标检测	mAP@50、Precision、Recall、F1
分类	Accuracy
实例分割／关键点	mAP@50、Precision、Recall
语义分割	mIoU
多模态	Perplexity

模型评估（付费方案）

训练完成后自动运行。访问路径：Models > 点击模型版本 > View Evaluation。

功能	显示内容
生产指标浏览器	显示所有置信度阈值下的精确率/召回率/F1；推荐最佳置信度
模型改进建议	可执行的建议（假阴性、假阳性、易混淆类别、数据不足）
按类别查看性能	每个类别的正确预测、误分类、假阴性和假阳性；可筛选
混淆矩阵	真实标签与预测结果网格；点击单元格可查看具体图像；可调整置信度阈值
向量浏览器	交互式嵌入聚类，展示模型成功或失败的位置

深层链接：https://app.roboflow.com/{workspace}/{project}/evaluation/{versionId}。

当用户询问模型表现不佳的原因或如何改进时，请从 roboflow://skills/roboflow-training-and-evaluation/model-diagnosis 开始。 它会将每个评估面板对应到根本原因（分类体系、错误标注的数据、不一致的标注标准、覆盖缺口、数据过少、数据质量差），并说明下一步应添加哪些数据。改进指南包含简明的决策树和训练方面的修正措施（架构、尺寸、数据增强、过拟合）。

MCP 服务提供所有评估面板的功能。所有工具都需要 model-eval:read 范围；评估仍在运行时会返回 409 model_eval_not_done。

面板	工具
查找评估	model_evals_list（按 project_id、version_number 或 model_id 筛选；每次只能使用一个）
主要 mAP / 精确率 / 召回率 + app_url	model_evals_get
模型改进建议	model_evals_get_recommendations（从未生成过时返回 {"generated": false}）
按类别查看性能	model_evals_get_performance_by_class（split = train/valid/test）
各数据集划分、按目标尺寸及按类别查看 mAP@50 / @50-95 / @75	model_evals_get_map_results
混淆矩阵	model_evals_get_confusion_matrix（split、confidence 0-100；默认为最佳阈值）
生产指标浏览器	model_evals_get_confidence_sweep
向量浏览器	model_evals_get_vector_analysis，然后调用 model_evals_get_image_predictions 获取每张图像的 TP/FP/FN 和聚类 ID
数据集健康检查	projects_health（设置 regenerate=True 可重新计算；首次运行可能需要几分钟）

查看和比较模型

• Models 页面： 项目侧边栏 > Models。显示所有 Instant 和微调模型，以及指标、架构、许可证和所用数据集版本。
• Universe 选项卡： 可用于迁移学习的已加星标 Universe 模型。
• 可视化： 使用测试集图像、上传的图像或网络摄像头快速测试。适用于 OD、分割、分类、关键点。不支持多模态。

MCP 工具参考

操作	工具
生成版本	versions_generate
开始训练	trainings_create
查找训练运行	trainings_list(project_id, version_number) 返回每次运行的 trainingId 和状态
查看已知训练运行	trainings_get(project_id, version_number, training_id)；如需查看子模型详情，请使用上文的分页 NAS 路径
获取模型信息	models_get
列出模型	models_list
查找评估	model_evals_list
评估摘要	model_evals_get
评估建议	model_evals_get_recommendations
按类别查看指标	model_evals_get_performance_by_class
按数据集划分 / 目标尺寸 / 类别查看 mAP	model_evals_get_map_results
混淆矩阵	model_evals_get_confusion_matrix
置信度扫描	model_evals_get_confidence_sweep
向量分析 / 每张图像的预测	model_evals_get_vector_analysis、model_evals_get_image_predictions
数据集健康检查	projects_health

相关页面

• model-ids.md — 精确的训练模型 ID 和 COCO 类别覆盖范围
• roboflow://skills/roboflow-training-and-evaluation/model-diagnosis — 遇到“为什么我的模型效果不好／如何改进”时，从这里开始：运行模型评估，阅读各个面板，将症状与根本原因对应起来，并确定要添加哪些数据
• roboflow://skills/roboflow-training-and-evaluation/improvement-playbook — 诊断决策树、混淆矩阵和各类别指标指南、建议类型、架构切换、数据增强、过拟合、迭代检查清单
• roboflow://skills/roboflow-training-and-evaluation/active-learning — 生产环境反馈循环：Project Model Workflow 模块、主动学习、审核和重新训练