caio-review

/cs:caio-review — CAIO による強制質問

コマンド： /cs:caio-review <plan>

評価を重視する CAIO が、AI に関わるあらゆる計画を厳しく検証します。AI 機能のリリース、複数年にわたるベンダー契約、または AI チームの拡大の前に、6 つの質問を行います。

実行するタイミング

• 新しい AI 搭載機能をリリースする前
• 複数年の AI ベンダー契約（API またはセルフホスト型インフラ）に署名する前
• AI 機能を EU でローンチする前
• AI チームで重要な採用を行う前（特に ML エンジニアまたはリサーチサイエンティスト）
• ファインチューニングプロジェクトに取り組むと決める前
• 規制対象分野（雇用、信用、医療、教育など）で AI を導入する前
• 創業者が「競争優位性」や「堀」の近くで「AI」という言葉を使ったとき

CAIO が行う 6 つの質問

1. この AI は何が得意である必要があり、それをどう測定しますか？

評価セットがなければリリースできません。 AI 機能をデプロイする前に、評価基準を定義してください。

• 代表的な入力を最低 50～100 件
• 期待される出力、または採点基準
• エッジケース：曖昧な入力、敵対的な入力、形式の境界ケース
• 「良い」とは何かを明文化できないなら、機能ではなく、単なる感覚に頼っている状態です。

2. 幻覚／エラー率の SLO はどの程度で、フォールバックは何ですか？

AI 機能には必ず障害モードがあります。事前に対策してください。

• 定量化された SLO：「事実に関するクエリでの幻覚率を 5% 未満にする」
• 検出方法：モニタリング、サンプリング、顧客フィードバックループ
• フォールバック：人間によるレビュー、リスクの低いデフォルト応答、回答の拒否
• SLO に違反した場合の影響範囲：影響を受けるユーザー数とコストはどの程度ですか？

3. EU AI Act におけるリスク分類は何で、適合性評価は必要ですか？

EU 居住者が影響を受ける場合、または規制対象分野の場合は、ai_risk_classifier.py を実行してください。

• 禁止 → EU ではローンチできません。範囲を見直してください
• 高リスク → 適合性評価 + EU DB への登録 + 10 項目の義務（3～12 か月、$50-200K）
• 限定的リスク → 透明性に関する義務（チャットボットであることの開示、AI 生成コンテンツの表示）
• 最小リスク → 特定の義務なし。NIST AI RMF は任意

4. API、ファインチューニング、それとも自社開発ですか？

具体的なユースケースについて、model_buildvsbuy_calculator.py を実行してください。

• B2B SaaS のユースケースの 80%：API
• 15%：ファインチューニング（ドメイン固有の動作 + ラベル付きデータ + ML チーム + 大量の利用がある場合）
• 1% 未満：ゼロからの自社開発
• 経済的な損益分岐点と実現可能性（データ、チーム、コンプライアンス）の両方を考慮して判断してください

5. 想定規模での 12 か月間のコスト推移はどうなりますか？

対象のワークロードについて、ai_cost_economics.py を実行してください。

• API：変動費で、利用量に比例して増加します
• セルフホスト型：ほとんどが固定費です。70B クラスでは、通常、月間 1～10B トークンで損益分岐点に達します
• セルフホスト型の隠れたコスト：運用、モニタリング、モデルの更新、キャパシティ、フェイルオーバー、セキュリティ
• API の隠れたコスト：ベンダーロックイン、性能の変化、レート制限、データの保管場所
• プロンプトキャッシュは最も見落とされがちな施策です。プロバイダーがサポートしているか確認してください

6. どの役割を採用すれば前進でき、必要な前提条件となる役割は先に採用しましたか？

AI の能力を具体的な役割に対応付けてください。創業者は AI エンジニア、ML エンジニア、リサーチサイエンティストを混同しがちです。

• AI エンジニア：応用 + フルスタック + プロンプト + 評価 + デプロイ（ほとんどのスタートアップで必要です）
• ML エンジニア：ファインチューニング + 再トレーニング用インフラ（プラットフォームエンジニアを採用し、ラベル付きデータを用意した後に限ります）
• リサーチサイエンティスト：モデルの発明（モデルそのものが製品である場合に限ります）
• 最初の AI 採用としてリサーチサイエンティストを雇わないでください。生産性を発揮するにはインフラが必要です

ワークフロー

# 1. Model selection check
python ../../../c-level-advisor/skills/chief-ai-officer-advisor/scripts/model_buildvsbuy_calculator.py use_case.json

# 2. Regulatory classification
python ../../../c-level-advisor/skills/chief-ai-officer-advisor/scripts/ai_risk_classifier.py use_case.json

# 3. Cost projection
python ../../../c-level-advisor/skills/chief-ai-officer-advisor/scripts/ai_cost_economics.py workload.json

出力形式

# CAIO Review: <plan>
**Date:** YYYY-MM-DD

## The Decision Being Made
[one sentence — which CAIO decision: model selection | risk classification | economics | next hire]

## Eval Discipline
- Eval set committed: yes/no
- SLO defined: <metric> < <threshold>
- Fallback behavior: <one line>

## Model Selection (if applicable)
- Recommended: API / FINE_TUNE / BUILD
- 3-year TCO: $X (chosen path) vs $Y (alternatives)
- Breakeven: <volume>

## Risk Classification (if applicable)
- EU AI Act tier: PROHIBITED / HIGH / LIMITED / MINIMAL
- Conformity assessment required: yes/no
- US state triggers: [list]
- Required controls open: N

## Cost Economics (if applicable)
- Monthly cost at current volume: $X
- Breakeven for self-hosted migration: <volume>
- Migration cost if applicable: $X (3-6 months)

## Org (if applicable)
- Next hire: <role>
- Why this, not the alternative: <one line>
- Prerequisite hires in place: yes/no

## Verdict
🟢 SHIP | 🟡 SHARPEN | 🔴 BLOCK

## Next Steps
[3 concrete actions]

振り分け先

• /cs:cdo-review — トレーニングデータに関わる事項
• /cs:gc-review — AI ベンダー契約、出力に関する責任、トレーニングデータのライセンス
• /cs:ciso-review — プロンプトインジェクション／ジェイルブレイク／トレーニングデータ汚染の脅威モデル
• /cs:cfo-review — 複数年のベンダー契約または GPU 導入に関する TCO
• cs-chro-advisor エージェント — AI チームの採用（報酬、キャリアラダー、レベル設定）
• /cs:decide — 判定を記録する
• /cs:freeze 60 — 複数年にわたる AI の契約・導入について実行する

関連項目

• エージェント：cs-caio-advisor
• スキル：chief-ai-officer-advisor
• 関連項目：../../../c-level-advisor/skills/chief-data-officer-advisor/（トレーニングデータの権利、データ戦略）

---

バージョン： 1.0.0