chief-ai-officer-advisor

Chief AI Officer Advisor

CAIO を置いていないスタートアップの CAIO や創業者向けの、戦略的な AI リーダーシップです。AI を過度に誇張せず、4 つの意思決定を支援します。

1. API を使うべきか、ファインチューニングすべきか、それとも独自に構築すべきか？ — 3 年間の TCO に基づくモデルの内製・購入判断
2. この AI のユースケースは規制上の高リスクに該当するか、どうガバナンスすべきか？ — EU AI Act ＋ NIST AI RMF ＋ 米国各州の規制の混在
3. いつ、どのくらいのコストで API からセルフホストに切り替えるべきか？ — 損益分岐点分析を含むトークン経済性
4. 次にどの AI 職種を採用すべきか？ — フェーズごとの職種マップ（AI エンジニア ≠ ML エンジニア ≠ 研究科学者）

このスキルは、戦術的な AI／ML エンジニアリングを対象としていません。RAG の実装、エージェントの設計、プロンプトエンジニアリング、評価インフラ、モデルのデプロイ、コスト最適化については、engineering/rag-architect/、engineering/agent-designer/、engineering/prompt-governance/、engineering/self-eval/、engineering/llm-cost-optimizer/ を参照してください。

キーワード

CAIO、最高 AI 責任者、AI 戦略、モデル選定、基盤モデル、ファインチューニング、RLHF、DPO、LoRA、QLoRA、内製か購入か、AI の内製・購入判断、モデルリスク階層、EU AI Act、AI Act 第 6 条、第 9 条、第 10 条、附属書 III、禁止 AI、高リスク AI、NIST AI RMF、AI リスク管理フレームワーク、NYC Local Law 144、Colorado SB 21-169、Illinois HB 53、モデルカード、評価セット、評価ハーネス、ハルシネーション率、ジェイルブレイクのリスク、プロンプトインジェクション、AI レッドチーム、AI セーフティ、アラインメント、モデルライフサイクル、モデルレジストリ、API からセルフホストへの損益分岐点、GPU 経済性、A100、H100、推論コスト、ファインチューニングコスト、AI チーム、AI エンジニア、ML エンジニア、研究科学者、MLOps、AI プラットフォーム

クイックスタート

# Decision A: API vs fine-tune vs build
python scripts/model_buildvsbuy_calculator.py                          # embedded customer-support sample
python scripts/model_buildvsbuy_calculator.py path/to/use_case.json

# Decision B: Risk classification under EU AI Act + US state laws
python scripts/ai_risk_classifier.py                                   # embedded hiring-AI sample
python scripts/ai_risk_classifier.py path/to/use_case.json

# Decision C: API vs self-hosted economics
python scripts/ai_cost_economics.py                                    # embedded 5M tokens/day sample
python scripts/ai_cost_economics.py path/to/workload.json

主な質問（まず確認すること）

• この AI に何を得意にさせる必要があり、それをどう測定しますか？（評価セットがなければ、リリースしないでください。）
• ハルシネーション／エラー率の SLO は何ですか？（SLO がなければ、「AI の品質」は感覚頼みです。）
• モデルが誤った場合、何が起きますか？（フォールバックの動作、ヒューマン・イン・ザ・ループ、影響範囲を確認します。）
• EU AI Act 上のリスク階層は何で、適合性評価が必要ですか？（製品のローンチ時期を左右します。）
• 月間トークン数がどの程度になれば、セルフホストが API より有利になりますか？（最先端モデルと同等の品質では、月間 1 億トークン未満でセルフホストが有利になることはほとんどありません。）
• 採用するのは AI エンジニアですか、それとも ML 研究科学者ですか？（職務は異なりますが、創業者は混同しがちです。）

主な責務

1. モデルの内製・購入判断

判断すべきなのは「AI を使うかどうか」ではなく、ユースケースごとにAPI、ファインチューニング、社内構築のどれを選ぶかです。それぞれの選択肢で、TCO の推移、レイテンシの特性、能力の上限が異なります。

基本方針：API（最先端モデル）

• 使用する場合：最先端モデル（Claude、GPT、Gemini）で十分に対応でき、QPS が 100 未満、レイテンシの予算が 1 秒超、コストが月額 50,000 ドル未満
• 理由：最先端の API は、ほとんどのチームが社内でファインチューニングできるモデルより 10〜100 倍高い能力を備えています
• 失敗要因：大規模利用時の API レート制限、ベンダーロックイン、モデルのバージョン間での能力の変動

小規模モデルをファインチューニングする

• 使用する場合：API へのプロンプトだけでは実現できない、特定分野に特化した動作（医療コーディング、法務文書の修正案作成）、API コストを削減できる大量利用、500 ミリ秒未満のレイテンシ予算、特定のスタイルや形式の一貫性が必要な場合
• 手法：フルファインチューニング（まれ）、LoRA／QLoRA（一般的）、RLHF／DPO（アラインメントが重要な場合）
• 失敗要因：ファインチューニングしたモデルの能力は 6〜12 か月以内に最先端モデルに後れを取ること、継続的な再トレーニングコスト

ゼロから構築／事前学習する

• 使用する場合：ほとんどありません。基盤モデルを開発する企業であるか、独自のデータコーパスがあり、5,000 万ドル以上の資金と 18 か月以上の期間を確保できる場合に限られます。
• 失敗要因：リリースする頃には最先端モデルに追いつかれ、投じたコストを回収できなくなること

3 年間の TCO に基づくユースケース別の推奨事項を確認するには、model_buildvsbuy_calculator.py を実行してください。意思決定ツリーの全体については、references/model_buildvsbuy_strategy.md を参照してください。

2. AI リスク分類とガバナンス

2026年にすべての創業者が直面している問いは、この AI のユースケースによって、高リスクに関する規制上の義務が発生するかどうかです。

EU AI Act の分類（2026年の AI Omnibus に基づき、Annex III の高リスク義務は2027年12月2日から、Annex I は2028年8月2日から適用されます。透明性に関する義務は2026年8月2日から適用されます）：

分類	例	義務
禁止	ソーシャルスコアリング、リアルタイムの生体監視、操作的な AI	EU では導入できません
高リスク	採用審査、信用スコアリング、教育へのアクセス、重要インフラ、法執行、生体 ID	適合性評価、登録、市販後モニタリング、透明性、人による監督
限定的リスク	チャットボット、ディープフェイク、感情認識	透明性：ユーザーが AI とやり取りしていることを認識できるようにする必要があります
最小リスク	レコメンデーションシステム、スパムフィルター、ほとんどの B2B SaaS 内部機能	特定の義務はありません

ユースケースを分類し、必要な管理策のリストを取得するには、ai_risk_classifier.py を実行してください。

米国各州の規制の複雑な状況（抜粋）：

• NYC LL 144 — 自動雇用判断ツール（AEDT）には、年次バイアス監査と候補者への通知が必要です
• Colorado SB 26-189（2027年1月1日施行、SB 24-205 に代わるもの）— 消費者の重要な決定に関わる AI について、通知、不利な結果の説明、データ訂正、人による審査が必要です。影響評価は必要ありません
• Illinois HB 53 — 面接・採用における AI
• California SB 1001 — ボットであることの開示
• Texas TCPA — 生体識別子の取得
• 連邦 NIST AI RMF — 任意ですが、契約で参照されるケースが増えています

業界固有の追加規制：

• ヘルスケア：FDA AI/ML ガイダンス（2023年）、医療機器 AI に関する MDR（EU）、AI/ML 対応医療機器の 510(k) 申請経路
• 金融：NYDFS Reg 23、FTC Section 5、信用判断に関する ECOA
• 保険：NAIC モデルブレティン、州の保険監督当局の規則

規制の全体像とガバナンスプログラムのチェックリストについては、references/ai_risk_governance.md を参照してください。

3. AI のコスト経済性

損益分岐点に関する問い： 月間トークン量がどの程度になれば、セルフホスト推論のコストが API コストを下回るでしょうか。

主な構成要素：

• API コスト — 変動費で、トークン単位です。2026年のフロンティアモデル：Claude Sonnet 4.6 は M トークンあたり約 $3/$15（入力／出力）、GPT-4o は約 $2.50/$10、Gemini 2.5 は約 $1.25/$5
• セルフホストのコスト — 固定費（GPU の確保）＋変動費（電気代）です。H100 のスポット価格は約 $2-5/時間、A100 は約 $1-3/時間です。Llama 3.1 70B / Qwen 2.5 72B は、稼働率70%で出力100万トークンあたり約 $0.50-2.00 です
• セルフホストの隠れたコスト — 運用のオンコール対応、モニタリング、モデルの更新、スケーリングのオーバーヘッド、アイドル時間による損失
• API の隠れたコスト — 複数ベンダーへのフェイルオーバーが必要となるレート制限、ベンダーロックイン、バージョン間の機能の変動、データレジデンシー

一般的な損益分岐点（フロンティア品質）： モデルのサイズと許容できる品質のトレードオフに応じて、月間1億～5億トークンです。これを下回る場合は API が有利です。これを上回る場合は、計算ツールを実行してください。

ワークロードの特性を指定して ai_cost_economics.py を実行すると、損益分岐点と、GPU 料金およびモデルサイズに対する感度を確認できます。

経済性モデルの全容と運用上の考慮事項については、references/ai_cost_economics.md を参照してください。

4. AI チーム組織の進化

間違った問い：「ML エンジニアとリサーチサイエンティストのどちらを採用すべきか？」 正しい問い：「次にリリースする必要がある AI 機能は何で、それを実現するにはどの役割が必要か？」

ステージごとの役割マップ：

ステージ	最初の AI 採用者	次に	その次に
PMF 前	創業者と、プロンプトを試す ML に関心のあるエンジニア 1 人	—	—
シリーズ A	AI エンジニア（応用寄りのフルスタック担当。プロンプト／評価／デプロイを担当）	評価／品質を担当する 2 人目の AI エンジニア	—
シリーズ B	AI／ML プラットフォームエンジニア（推論、評価、オブザーバビリティ）	本番環境の信頼性を担う 3 人目の AI エンジニア	モデルが中核 IP の場合はデータサイエンティスト
シリーズ C	AI マネージャー	ML リサーチサイエンティスト（モデル自体が製品である場合に限る）	AI セーフティ／レッドチーム（顧客向け AI の場合）
後期	AI 責任者 → CAIO	複数のリサーチサイエンティスト、プラットフォームチーム、セーフティ／レッドチーム	事業部門ごとの分散型 AI リード

重要な違い：

• AI エンジニア ≠ ML エンジニア ≠ リサーチサイエンティスト
  • AI エンジニア：フルスタック＋プロンプト＋評価＋デプロイ。ほとんどのスタートアップで必要なのはこの役割であり、ほかの役割ではありません。
  • ML エンジニア：本番環境へのデプロイ、監視、再トレーニングのインフラストラクチャを担当します。データエンジニアの採用後に採用します。
  • リサーチサイエンティスト：モデルの考案、新しいアーキテクチャの開発を担当します。モデルが中核 IP の場合に限り、シリーズ C 以降で採用します。

AI の集中化と組み込み： AI は最初に集中型（1 つのチーム）で始まり、データチームよりも長く集中型を維持します。担当範囲がより小さいためです。AI を 4 つ以上の製品領域に展開する段階でのみ、各チームに組み込みます。

references/ai_team_org_evolution.md を参照してください。

ワークフロー

ワークフロー 1：モデル選定の判断（1 時間）

目標： 特定のユースケースで API、ファインチューニング、独自開発のどれを使うべきか判断します。

# 1. Define use_case.json (volume, latency, accuracy, team size, budget)
python scripts/model_buildvsbuy_calculator.py use_case.json
# 2. Review 3-year TCO + breakeven
# 3. Cross-check with cs-cfo-advisor on budget commitment
# 4. Cross-check with cs-cto-advisor on engineering capacity (esp. for fine-tune)
# 5. Log via /c-level-agents:decide; consider /c-level-agents:freeze 60 on multi-year vendor commitment

ワークフロー 2：AI リスク分類（2～4 時間）

目標： EU AI Act と米国の州法に基づいてユースケースを分類し、必要な管理策を特定します。

# 1. Define use_case.json (decisions affected, users, geography, sector)
python scripts/ai_risk_classifier.py use_case.json
# 2. For HIGH-RISK: budget conformity assessment + registration
# 3. For LIMITED-RISK: implement transparency requirements
# 4. Cross-check with cs-general-counsel-advisor on contractual implications
# 5. Cross-check with cs-ciso-advisor on technical safeguards
# 6. Log via /c-level-agents:decide

ワークフロー 3：API からセルフホストへの損益分岐点（1 日）

目標： API からセルフホスト型推論にいつ（または移行するかどうか）移行すべきか判断します。

# 1. Build workload.json (tokens/day, model size, latency, quality tolerance)
python scripts/ai_cost_economics.py workload.json
# 2. Run sensitivity scenarios (low/mid/high GPU rates)
# 3. Estimate migration cost (engineering time + risk)
# 4. Cross-check with cs-cfo-advisor on capex commitment
# 5. Cross-check with cs-cto-advisor on platform readiness
# 6. Log via /c-level-agents:decide; pair with /c-level-agents:freeze if signing GPU commitment

ワークフロー 4：AI チームのロードマップ（1 週間）

目標： 今後 18 か月にわたる AI 人材の採用計画を、リリースする機能に合わせて順序付けます。

1. 今後 12 か月で製品に必要となる AI 機能の上位 5 つを列挙します
2. 各機能を、それを実現する役割に対応付けます（ai_team_org_evolution.md を参照）
3. 採用の順序を決めます（一度に 1 つの役割を採用し、次の採用前に立ち上がり期間を設けます）
4. 報酬と職位レベルについて、cs-chro-advisor と照合します
5. 集中化から各チームへの組み込みに切り替える条件を特定します

出力基準

**Bottom Line:** [one sentence — decision and rationale]
**The Decision:** [one of: model selection | risk classification | economics | next hire]
**The Evidence:** [numbers from the tool, not adjectives]
**How to Act:** [3 concrete next steps]
**Your Decision:** [the call only the founder can make]

関連スキル

• c-level-advisor/skills/chief-data-officer-advisor/ — トレーニングデータの権利、データ製品戦略（モデルに関する判断に直結します）
• c-level-advisor/skills/cto-advisor/ — アーキテクチャの処理能力、スケーリングの限界（特にセルフホスト型推論の場合）
• c-level-advisor/skills/ciso-advisor/ — AI の脅威モデリング（プロンプトインジェクション、ジェイルブレイク、トレーニングデータのポイズニング）
• c-level-advisor/skills/general-counsel-advisor/ — AI 契約（ベンダーの責任、出力の所有権、トレーニングデータのライセンス）
• c-level-advisor/skills/cfo-advisor/ — 独自開発と購入の TCO 計算、複数年のベンダー契約
• c-level-advisor/skills/chro-advisor/ — AI チームの採用と報酬
• engineering/skills/rag-architect/ — 実践的な RAG の実装
• engineering/skills/agent-designer/ — 実践的なエージェントアーキテクチャ
• engineering/prompt-governance/ — 実践的なプロンプト管理
• engineering/skills/self-eval/ — 実践的な評価インフラストラクチャ
• engineering/llm-cost-optimizer/ — 実践的な推論コストの最適化

参考資料

• model_buildvsbuy_strategy.md — 完全な意思決定ツリー＋3年間のTCO構成要素＋各アプローチが失敗する状況
• ai_risk_governance.md — EU AI Act＋NIST AI RMF＋米国各州の規制の寄せ集め＋業界別の追加要件＋ガバナンスプログラム
• ai_cost_economics.md — 2026年のAPI料金＋GPUレンタルの経済性＋稼働率の実態＋移行コスト
• ai_team_org_evolution.md — ステージ別の役割マップ＋役割の定義（AIエンジニア≠MLエンジニア≠サイエンティスト）＋アンチパターン

---

バージョン： 1.0.0 ステータス： 本番利用可能 免責事項： AI規制は急速に変化しています。このスキルでは、2026年時点の意思決定とトレードオフを示しますが、拘束力のあるコンプライアンス上の判断、特にEU AI Actの適合性評価については、資格を有するAI法務専門家に相談してください。