caio-review

/cs:caio-review — CAIO 强制审视问题

命令： /cs:caio-review <plan>

这位要求评估的 CAIO 会对任何涉及 AI 的计划进行压力测试。在推出任何 AI 功能、承诺与供应商签订多年合同或扩充任何 AI 团队之前，先回答六个问题。

何时运行

• 推出任何新的 AI 驱动功能之前
• 签订多年期 AI 供应商合同（API 或可自托管基础设施）之前
• 在欧盟推出任何 AI 功能之前
• 聘用重要的 AI 团队成员之前（尤其是 ML 工程师或研究科学家）
• 承诺开展微调项目之前
• 在受监管领域（就业、信贷、医疗、教育等）采用 AI 之前
• 创始人在“竞争优势”或“护城河”附近使用“AI”一词时

CAIO 的六个问题

1. 这项 AI 需要具备哪些能力？如何衡量？

没有评估集 = 不发布。 部署任何 AI 功能之前，先定义评估标准。

• 至少准备 50-100 个有代表性的输入
• 提供预期输出，或用于评分的标准
• 覆盖边缘情况：含糊、对抗性、格式边缘情形
• 如果无法写下什么才算“好”，那你就没有一项功能，只有一种感觉。

2. 幻觉／错误率的 SLO 是什么？备用方案是什么？

每项 AI 功能都有失效模式。要提前规划。

• 量化 SLO：“事实类查询的幻觉率 <5%”
• 检测机制：监控、抽样、客户反馈闭环
• 备用方案：人工审核、风险较低的默认回复、拒绝回答
• 超出 SLO 时的影响范围：会影响多少用户？代价是什么？

3. 根据《欧盟 AI 法案》，风险等级是什么？是否需要进行合规性评估？

如果会影响任何欧盟居民，或涉及受监管领域，请运行 ai_risk_classifier.py。

• PROHIBITED → 无法在欧盟推出；重新界定范围
• HIGH → 合规性评估 + 欧盟数据库登记 + 10 项义务条款（3-12 个月，$50-200K）
• LIMITED → 透明度义务（披露聊天机器人身份、标注 AI 生成内容）
• MINIMAL → 无特定义务；自愿遵循 NIST AI RMF

4. 用 API、微调，还是自行构建？

针对具体用例运行 model_buildvsbuy_calculator.py。

• 80% 的 B2B SaaS 用例：API
• 15%：微调（需要领域专属行为 + 已标注数据 + ML 团队 + 高调用量时）
• <1%：从头构建
• 决策必须同时考虑经济盈亏平衡点和实际可行性（数据、团队、合规）

5. 按预期规模计算，未来 12 个月的成本走势如何？

针对工作负载运行 ai_cost_economics.py。

• API：可变成本，随规模线性增长
• 可自托管：成本大多固定；70B 级模型通常在每月 1-10B 个 token 时达到盈亏平衡
• 可自托管的隐性成本：运维、监控、模型更新、容量、故障转移、安全
• API 的隐性成本：供应商锁定、能力变化、速率限制、数据驻留
• 提示词缓存是最被低估的优化手段；请检查供应商是否支持

6. 哪种职位能解除瓶颈？我们是否先招齐了前置条件所需的人才？

将 AI 能力映射到具体职位。创始人常会混淆 AI 工程师、ML 工程师和研究科学家。

• AI 工程师：应用 + 全栈 + 提示词 + 评估 + 部署（大多数初创公司需要这类人才）
• ML 工程师：微调 + 再训练基础设施（仅在已有平台工程师和已标注数据之后）
• 研究科学家：发明模型（仅在模型本身就是产品时）
• 不要把研究科学家作为首位 AI 招聘对象——他们需要基础设施才能发挥作用

工作流

# 1. Model selection check
python ../../../c-level-advisor/skills/chief-ai-officer-advisor/scripts/model_buildvsbuy_calculator.py use_case.json

# 2. Regulatory classification
python ../../../c-level-advisor/skills/chief-ai-officer-advisor/scripts/ai_risk_classifier.py use_case.json

# 3. Cost projection
python ../../../c-level-advisor/skills/chief-ai-officer-advisor/scripts/ai_cost_economics.py workload.json

输出格式

# CAIO Review: <plan>
**Date:** YYYY-MM-DD

## The Decision Being Made
[one sentence — which CAIO decision: model selection | risk classification | economics | next hire]

## Eval Discipline
- Eval set committed: yes/no
- SLO defined: <metric> < <threshold>
- Fallback behavior: <one line>

## Model Selection (if applicable)
- Recommended: API / FINE_TUNE / BUILD
- 3-year TCO: $X (chosen path) vs $Y (alternatives)
- Breakeven: <volume>

## Risk Classification (if applicable)
- EU AI Act tier: PROHIBITED / HIGH / LIMITED / MINIMAL
- Conformity assessment required: yes/no
- US state triggers: [list]
- Required controls open: N

## Cost Economics (if applicable)
- Monthly cost at current volume: $X
- Breakeven for self-hosted migration: <volume>
- Migration cost if applicable: $X (3-6 months)

## Org (if applicable)
- Next hire: <role>
- Why this, not the alternative: <one line>
- Prerequisite hires in place: yes/no

## Verdict
🟢 SHIP | 🟡 SHARPEN | 🔴 BLOCK

## Next Steps
[3 concrete actions]

路由

• /cs:cdo-review — 审查任何训练数据相关影响
• /cs:gc-review — 审查 AI 供应商合同、输出责任、训练数据许可
• /cs:ciso-review — 审查提示词注入／越狱／训练数据投毒威胁模型
• /cs:cfo-review — 审查多年期供应商合同或 GPU 承诺的 TCO
• cs-chro-advisor Agent — 审查 AI 团队招聘（薪酬、职级体系、职级评定）
• /cs:decide — 记录结论
• /cs:freeze 60 — 针对多年期 AI 承诺

相关

• Agent：cs-caio-advisor
• 技能：chief-ai-officer-advisor
• 相关内容：../../../c-level-advisor/skills/chief-data-officer-advisor/（训练数据权利、数据战略）

---

版本： 1.0.0