senior-computer-vision

シニアコンピュータービジョンエンジニア

物体検出、インスタンス／セマンティックセグメンテーション、本番環境へのデプロイに対応する、エンドツーエンドのコンピュータービジョンパイプラインを設計します。YOLO／Detectron2／MMDetection の学習設定を生成し、モデルを ONNX／TensorRT／OpenVINO ランタイム向けに最適化します。また、フォーマット変換やデータ拡張を含むデータセット準備ワークフローを構築します。

主な機能

• 検出パイプラインの設計 — 要件分析、アーキテクチャの選定（YOLO／RT-DETR／Faster R-CNN／DINO）、データセットの準備、学習設定、評価指標の評価。
• モデルの最適化とデプロイ — ベースラインのベンチマーク、ONNX へのエクスポート、INT8／FP16 量子化、ターゲットプラットフォームに応じた TensorRT／OpenVINO／CoreML／TFLite への変換。
• データセットエンジニアリング — 監査、クリーニング、フォーマット変換（COCO／YOLO／VOC／CVAT／LabelMe）、データ拡張設定、層化した学習／検証／テスト分割。
• アーキテクチャに関するガイダンス — 検出・セグメンテーションのアーキテクチャ間のトレードオフと、CNN と Vision Transformer の選定。
• 本番環境の目標値 — リアルタイム、高精度、エッジ環境へのデプロイに向けた FPS、mAP、P99 レイテンシ、メモリ、モデルサイズの予算。

使用する場面

• 物体検出またはセグメンテーションシステムをゼロから構築する場合。
• 学習済みモデルを GPU、エッジ、モバイル向けに最適化してデプロイする場合。
• コンピュータービジョンデータセットを準備、変換、監査する場合。
• 速度、精度、デプロイ要件のトレードオフを踏まえてアーキテクチャを選ぶ場合。

先に確認すること

学習設定やパイプラインを生成する前に、以下の入力を確認してください。不明または曖昧な項目があれば、推測せずに質問してください。

• タスク — 検出／インスタンスまたはセマンティックセグメンテーション／分類（アーキテクチャと --task の選択に使用）
• データセット — 分析または変換するデータセットの場所と形式（COCO／YOLO／VOC）（dataset_pipeline_builder.py の入力）
• デプロイ先 — GPU／エッジ／モバイル（アーキテクチャの選定と inference_optimizer --target に反映）

中断ルール：出力に最も大きく影響する 2～3 項目だけを質問してください。ユーザーが「とにかく草案を作って」と言った場合は作業を進め、成果物の冒頭に前提条件を列挙してください。

ツール

ツール	目的	コマンド
vision_model_trainer.py	YOLO／Detectron2／MMDetection の学習設定を生成します	python scripts/vision_model_trainer.py data/coco/ --task detection --arch yolov8m -o configs/train.yaml
inference_optimizer.py	モデルを分析、ベンチマークし、最適化を提案します	python scripts/inference_optimizer.py model.pt --analyze --benchmark --recommend --target edge
dataset_pipeline_builder.py	CV データセットの分析／変換／分割／データ拡張／検証を行います（サブコマンド）	python scripts/dataset_pipeline_builder.py analyze --input data/coco/

参考資料

タスクに合った参考資料を読み込みます。このファイルは簡潔に保ち、必要に応じて詳細を参照してください。

• references/detection-workflows.md — クイックスタートコマンド、エンドツーエンドの3つのワークフロー（検出パイプライン、モデルの最適化／デプロイ、データセットの準備）、およびアーキテクチャ選択ガイドを記載しています。パイプラインを実行する際にお読みください。
• references/commands-targets-and-troubleshooting.md — フレームワークのコマンドカタログ（YOLO／Detectron2／MMDetection／最適化）、パフォーマンス目標、アンチパターン、トラブルシューティング表、成功基準を記載しています。トレーニングやデプロイの実行中にお読みください。
• references/tool-reference.md — 3つのスクリプトのパラメーター、例、出力形式に関する完全なリファレンスです。ツールをスクリプトから実行する際にお読みください。
• references/computer_vision_architectures.md — CNN バックボーン（ResNet、EfficientNet、ConvNeXt）、ViT のバリエーション（ViT、DeiT、Swin）、検出ヘッド、FPN／BiFPN／PANet ネックを記載しています。アーキテクチャの選択や調整を行う際にお読みください。
• references/object_detection_optimization.md — NMS のバリエーション、アンカーの最適化、損失設計（focal、GIoU／CIoU／DIoU）、トレーニング戦略、検出向けデータ拡張を記載しています。検出精度を向上させる際にお読みください。
• references/production_vision_systems.md — ONNX／TensorRT へのエクスポート、バッチ推論、エッジデプロイ（Jetson、Intel NCS）、Triton サービング、動画パイプラインを記載しています。本番環境にデプロイする際にお読みください。

対象範囲と制限事項

このスキルの対象範囲：

• データ準備から本番環境へのデプロイまでの、エンドツーエンドの物体検出およびセグメンテーションパイプラインの設計
• Ultralytics YOLO、Detectron2、MMDetection フレームワーク向けのトレーニング設定の生成
• ONNX、TensorRT、OpenVINO、CoreML ランタイム向けのモデル最適化とエクスポート
• データセット形式の変換（COCO、YOLO、Pascal VOC、CVAT）、分割、検証、データ拡張設定

このスキルの対象外：

• 生成系ビジョンタスク（画像生成、スタイル転送、超解像） -- 生成系 AI 専用スキルを参照してください
• 基本的な深度推定を超える3D再構成、SLAM、点群処理
• 医用画像に関する規制遵守（DICOM、FDA 510(k)） -- ra-qm-team/ のコンプライアンススキルを参照してください
• リアルタイム動画ストリーミングのインフラストラクチャ（RTSP、WebRTC、GStreamer パイプライン設計） -- インフラストラクチャについては senior-devops を参照してください

統合ポイント

スキル	統合内容	データフロー
senior-ml-engineer	モデルサービングと MLOps パイプラインのセットアップ	トレーニング済みモデルのアーティファクト（.pt、.onnx）が model_deployment_pipeline.py に渡され、コンテナ化されたサービングとモニタリングに使用されます
senior-data-engineer	データセット ETL とストレージパイプライン	生の画像データを pipeline_orchestrator.py 経由で取り込み、クリーニング済みのデータセットを dataset_pipeline_builder.py に渡して CV 形式に変換します
senior-data-scientist	実験設計と統計分析	experiment_designer.py の実験パラメーターがハイパーパラメーター探索を導き、モデルのメトリクスを有意性検定にフィードバックします
senior-devops	CI/CD と GPU インフラストラクチャのプロビジョニング	最適化済みモデルのアーティファクトを CI/CD パイプライン経由でデプロイし、GPU ノードのスケーリングを Infrastructure as Code で管理します
senior-prompt-engineer	マルチモーダル RAG と視覚言語統合	ビジョンモデルの埋め込みと検出結果を rag_system_builder.py に渡し、マルチモーダル検索パイプラインを構築します
senior-cloud-architect	クラウド GPU リソースの計画とコスト最適化	inference_optimizer.py のベンチマーク結果を、インスタンスタイプの選択とオートスケーリングポリシーに反映します