senior-computer-vision

高级计算机视觉工程师

设计端到端计算机视觉流水线，用于目标检测、实例分割／语义分割及生产部署。为 YOLO/Detectron2/MMDetection 生成训练配置，针对 ONNX/TensorRT/OpenVINO 运行时优化模型，并构建包含格式转换和数据增强的数据集准备工作流。

核心能力

• 检测流水线设计 — 需求分析、架构选择（YOLO/RT-DETR/Faster R-CNN/DINO）、数据集准备、训练配置和指标评估。
• 模型优化与部署 — 基准测试、ONNX 导出、INT8/FP16 量化，并针对目标平台转换为 TensorRT/OpenVINO/CoreML/TFLite。
• 数据集工程 — 审查、清理、格式转换（COCO/YOLO/VOC/CVAT/LabelMe）、数据增强配置，以及分层训练集／验证集／测试集划分。
• 架构指导 — 权衡检测与分割架构，并选择 CNN 或 Vision Transformer。
• 生产部署目标 — 为实时、高精度和边缘部署设定 FPS、mAP、P99 延迟、内存和模型大小预算。

适用场景

• 从头构建目标检测或分割系统。
• 优化已训练模型，并将其部署到 GPU、边缘设备或移动设备。
• 准备、转换或审查计算机视觉数据集。
• 针对速度、精度和部署需求之间的权衡选择架构。

先行确认

在生成训练配置或流水线前，确认以下信息。如有任何信息未知或含糊不清，请先询问，不要自行假设：

• 任务 — 检测／实例分割或语义分割／分类（用于选择架构和 --task）
• 数据集 — 要分析或转换的数据集位置和格式（COCO／YOLO／VOC）（dataset_pipeline_builder.py 的输入）
• 部署目标 — GPU／边缘设备／移动设备（决定架构选择及 inference_optimizer --target）

停止规则：只询问最能影响输出的 2-3 项。如果用户说“直接起草”，则继续，并在产出内容顶部列出假设。

工具

工具	用途	命令
vision_model_trainer.py	为 YOLO / Detectron2 / MMDetection 生成训练配置	python scripts/vision_model_trainer.py data/coco/ --task detection --arch yolov8m -o configs/train.yaml
inference_optimizer.py	分析、基准测试并推荐模型优化方案	python scripts/inference_optimizer.py model.pt --analyze --benchmark --recommend --target edge
dataset_pipeline_builder.py	分析／转换／划分／增强／验证计算机视觉数据集（子命令）	python scripts/dataset_pipeline_builder.py analyze --input data/coco/

参考资料

加载与任务匹配的参考资料 — 保持此文件精简，按需查阅详细内容：

• references/detection-workflows.md — 快速入门命令和三个端到端工作流（检测流水线、模型优化/部署、数据集准备），以及架构选择指南。执行流水线时阅读。
• references/commands-targets-and-troubleshooting.md — 框架命令目录（YOLO/Detectron2/MMDetection/优化）、性能目标、反模式、故障排查表和成功标准。运行训练或部署时阅读。
• references/tool-reference.md — 三个脚本的完整参数、示例和输出格式参考。编写工具脚本时阅读。
• references/computer_vision_architectures.md — CNN 主干网络（ResNet、EfficientNet、ConvNeXt）、ViT 变体（ViT、DeiT、Swin）、检测头，以及 FPN/BiFPN/PANet 颈部网络。选择或调整架构时阅读。
• references/object_detection_optimization.md — NMS 变体、锚框优化、损失设计（focal、GIoU/CIoU/DIoU）、训练策略和检测数据增强。提高检测准确率时阅读。
• references/production_vision_systems.md — ONNX/TensorRT 导出、批量推理、边缘部署（Jetson、Intel NCS）、Triton 服务和视频流水线。部署到生产环境时阅读。

范围与限制

此技能涵盖：

• 端到端目标检测与分割流水线设计（从数据准备到生产部署）
• 为 Ultralytics YOLO、Detectron2 和 MMDetection 框架生成训练配置
• 模型优化及导出到 ONNX、TensorRT、OpenVINO 和 CoreML 运行时
• 数据集格式转换（COCO、YOLO、Pascal VOC、CVAT）、拆分、验证和数据增强配置

此技能不涵盖：

• 生成式视觉任务（图像生成、风格迁移、超分辨率）——请参阅专门的生成式 AI 技能
• 除基础深度估计以外的 3D 重建、SLAM 或点云处理
• 医学影像法规合规（DICOM、FDA 510(k)）——请参阅 ra-qm-team/ 合规技能
• 实时视频流基础设施（RTSP、WebRTC、GStreamer 流水线设计）——基础设施相关内容请参阅 senior-devops

集成点

技能	集成内容	数据流
senior-ml-engineer	模型服务和 MLOps 流水线搭建	训练好的模型工件（.pt、.onnx）流入 model_deployment_pipeline.py，用于容器化服务和监控
senior-data-engineer	数据集 ETL 和存储流水线	通过 pipeline_orchestrator.py 导入原始图像数据；清理后的数据集流入 dataset_pipeline_builder.py，用于 CV 格式转换
senior-data-scientist	实验设计和统计分析	experiment_designer.py 提供的实验参数用于指导超参数搜索；模型指标反馈用于显著性检验
senior-devops	CI/CD 和 GPU 基础设施配置	优化后的模型工件通过 CI/CD 流水线部署；GPU 节点扩缩容通过基础设施即代码管理
senior-prompt-engineer	多模态 RAG 和视觉语言集成	视觉模型嵌入和检测结果流入 rag_system_builder.py，用于多模态检索流水线
senior-cloud-architect	云端 GPU 资源规划和成本优化	inference_optimizer.py 的基准测试结果用于指导实例类型选择和自动扩缩容策略