chief-ai-officer-advisor

首席 AI 官顾问

为初创公司的 CAIO 和尚未设立 CAIO 的创始人提供战略 AI 领导力。四项决策，不谈 AI hype：

1. 我们应该使用 API、微调，还是自行构建？ — 对比模型自建与采购，并计算 3 年总拥有成本（TCO）
2. 根据法规，这个 AI 用例是否属于高风险？我们该如何治理？ — 《欧盟 AI 法案》+ NIST AI RMF + 美国各州法规拼图
3. 何时以及以什么成本从 API 切换到可自托管方案？ — 结合盈亏平衡分析的 token 经济学
4. 下一步应该招聘什么 AI 岗位？ — 阶段与岗位映射（AI engineer ≠ ML engineer ≠ research scientist）

此技能不涵盖战术层面的 AI/ML 工程。有关 RAG 实现、Agent 设计、提示词工程、评估基础设施、模型部署或成本优化，请参阅 engineering/rag-architect/、engineering/agent-designer/、engineering/prompt-governance/、engineering/self-eval/、engineering/llm-cost-optimizer/。

关键词

CAIO、chief AI officer、AI 战略、模型选择、基础模型、微调、RLHF、DPO、LoRA、QLoRA、自建还是采购、AI 自建与采购、模型风险等级、欧盟 AI 法案、AI 法案第 6 条、第 9 条、第 10 条、附件 III、禁止的 AI、高风险 AI、NIST AI RMF、AI 风险管理框架、纽约市地方法律 144、科罗拉多州 SB 21-169、伊利诺伊州 HB 53、模型卡、评估集、评估框架、幻觉率、越狱风险、提示词注入、AI 红队、AI 安全、对齐、模型生命周期、模型注册表、从 API 切换到可自托管方案的盈亏平衡点、GPU 经济学、A100、H100、推理成本、微调成本、AI 团队、AI engineer、ML engineer、research scientist、MLOps、AI 平台

快速开始

# Decision A: API vs fine-tune vs build
python scripts/model_buildvsbuy_calculator.py                          # embedded customer-support sample
python scripts/model_buildvsbuy_calculator.py path/to/use_case.json

# Decision B: Risk classification under EU AI Act + US state laws
python scripts/ai_risk_classifier.py                                   # embedded hiring-AI sample
python scripts/ai_risk_classifier.py path/to/use_case.json

# Decision C: API vs self-hosted economics
python scripts/ai_cost_economics.py                                    # embedded 5M tokens/day sample
python scripts/ai_cost_economics.py path/to/workload.json

核心问题（先问这些）

• 这个 AI 需要擅长什么？你会如何衡量？（没有评估集，就不要发布。）
• 幻觉率／错误率的 SLO 是什么？（没有 SLO，“AI 质量”就只是一种感觉。）
• 模型出错时会发生什么？（回退行为、人机协同、影响范围。）
• 根据《欧盟 AI 法案》，风险等级是什么？是否需要符合性评估？（这决定产品发布的时间表。）
• 每月 token 用量达到多少时，自托管才比 API 划算？（在前沿模型质量下，每月低于 100M token 时几乎永远不划算。）
• 我们要招聘 AI engineer 还是 ML research scientist？（这是不同的工作；创始人常会把两者混淆。）

核心职责

1. 模型自建与采购决策

决策不是“要不要使用 AI”——而是针对每个用例，在 API、微调和内部自建之间做选择。每条路径的 TCO 曲线、延迟特征和能力上限都不同。

默认路径：API（前沿模型）

• 适用情况：前沿模型（Claude、GPT、Gemini）已能很好地满足需求，QPS < 100，延迟预算 > 1s，成本 < $50K/月
• 原因：前沿模型 API 的能力比大多数团队能在内部微调出的模型高 10–100 倍
• 失效模式：规模扩大后触及 API 速率限制、供应商锁定、不同模型版本间的能力漂移

微调较小的模型

• 适用情况：需要 API 无法通过提示词实现的领域特定行为（医学编码、法律文本修订），高用量可降低 API 成本，延迟预算 < 500ms，或需要特定风格／格式的一致性
• 方法：全量微调（少见）、LoRA/QLoRA（常见）、RLHF/DPO（适用于重视对齐的情况）
• 失效模式：微调模型在 6–12 个月内就会落后于前沿模型的能力；需要持续投入再训练成本

从头构建／预训练

• 适用情况：几乎从不。你是一家基础模型公司，或者拥有独特的数据集、超过 $50M 的资金，以及 18 个月以上的耐心。
• 失效模式：等到产品发布时，前沿模型已经赶上，而已投入的沉没成本无法收回

运行 model_buildvsbuy_calculator.py，获取针对具体用例的建议及 3 年 TCO。完整决策树请参阅 references/model_buildvsbuy_strategy.md。

2. AI 风险分类与治理

2026 年每位创始人都面临的问题：这个 AI 用例是否会触发高风险监管义务？

《欧盟 AI 法案》的风险等级（根据 2026 年《AI 综合法案》，附件 III 的高风险义务自 2027 年 12 月 2 日起适用，附件 I 的高风险义务自 2028 年 8 月 2 日起适用；透明度义务自 2026 年 8 月 2 日起适用）：

等级	示例	义务
禁止	社会评分、实时生物特征监控、操纵性 AI	不得在欧盟部署
高风险	招聘筛选、信用评分、教育准入、关键基础设施、执法、生物识别 ID	合格评定、注册、上市后监测、透明度、人类监督
有限风险	聊天机器人、深度伪造、情绪识别	透明度：用户必须知道自己正在与 AI 交互
最低风险	推荐系统、垃圾邮件过滤器、大多数 B2B SaaS 内部功能	无特定义务

运行 ai_risk_classifier.py，为用例分类并获取所需控制措施清单。

美国各州的法规拼图（并非详尽无遗）：

• NYC LL 144 — 自动化就业决策工具（AEDT）须每年进行偏差审计，并通知候选人
• Colorado SB 26-189（2027 年 1 月 1 日生效，取代 SB 24-205）— 对于在影响消费者重要决策中使用的 AI，须提供通知、解释不利结果、数据更正和人工审核；无需进行影响评估
• Illinois HB 53 — 面向面试和招聘的 AI
• California SB 1001 — 机器人披露
• Texas TCPA — 生物特征标识符采集
• 联邦 NIST AI RMF — 自愿采用；在合同中被引用的情况日益增多

行业专项规定：

• 医疗保健：FDA AI/ML 指南（2023 年）、欧盟医疗器械法规（MDR）中关于医疗器械 AI 的规定、适用于 AI/ML 医疗器械的 510(k) 路径
• 金融：NYDFS Reg 23、FTC Section 5、适用于信用决策的 ECOA
• 保险：NAIC 模型公告、各州保险专员规则

完整的监管概览和治理计划检查清单，请参见 references/ai_risk_governance.md。

3. AI 成本经济性

**盈亏平衡问题：**每月 Token 用量达到多少时，可自托管推理的成本才会低于 API？

关键组成部分：

• API 成本 — 可变成本，按 Token 计费。2026 年前沿模型：Claude Sonnet 4.6 每百万 Token 约 $3/$15（输入/输出），GPT-4o 约 $2.50/$10，Gemini 2.5 约 $1.25/$5
• 自托管成本 — 固定成本（GPU 承诺）+ 可变成本（电费）。H100 Spot 约 $2-5/小时，A100 Spot 约 $1-3/小时。Llama 3.1 70B / Qwen 2.5 72B：利用率为 70% 时，每百万输出 Token 约 $0.50-2.00
• 自托管的隐性成本 — 运维值班、监控、模型更新、扩容开销、闲置时间损失
• API 的隐性成本 — 速率限制导致需要多供应商故障切换、供应商锁定、不同版本间的能力漂移、数据驻留

**典型盈亏平衡点（前沿级质量）：**每月 100M–500M Token，具体取决于模型规模和可接受的质量取舍。低于此范围，API 更划算；高于此范围，请运行计算器。

运行 ai_cost_economics.py 并输入工作负载特征，即可获得盈亏平衡点，以及对 GPU 费率和模型规模的敏感性分析。

完整的经济模型和运维考量，请参见 references/ai_cost_economics.md。

4. AI 团队组织演进

错误的问题：“我们应该招聘 ML 工程师还是研究科学家？” 正确的问题：“我们下一步需要交付什么 AI 能力？什么角色能扫清障碍？”

阶段与角色映射：

阶段	首位 AI 员工	然后	然后
PMF 前	创始人 + 1 位对 ML 感兴趣、尝试提示词的工程师	—	—
A 轮	AI 工程师（应用型、全栈；负责提示词、评估和部署）	第二位 AI 工程师，负责评估和质量	—
B 轮	AI/ML 平台工程师（推理、评估、可观测性）	第三位 AI 工程师，负责生产可靠性	如果模型是核心 IP，则招聘数据科学家
C 轮	AI 经理	ML 研究科学家（仅当模型就是产品时）	AI 安全 / 红队（如果 AI 面向客户）
后期阶段	AI 负责人 → CAIO	多位研究科学家、平台团队、安全 / 红队	各业务部门的联邦式 AI 负责人

关键区别：

• AI 工程师 ≠ ML 工程师 ≠ 研究科学家
  • AI 工程师：全栈 + 提示词 + 评估 + 部署。大多数初创公司需要这个角色，而非其他角色。
  • ML 工程师：生产部署、监控、再训练基础设施。应在数据工程师之后招聘。
  • 研究科学家：模型发明、新型架构。只有在 C 轮及以后且模型是核心 IP 时才需要。

**AI 团队的集中化与嵌入式模式：**AI 团队起初采用集中化模式（一个团队），且保持这种模式的时间比数据团队更长，因为其涉及范围更小。只有在 AI 部署到 4 个或更多产品界面时，才采用嵌入式模式。

参见 references/ai_team_org_evolution.md。

工作流

工作流 1：模型选择决策（1 小时）

**目标：**决定特定用例应使用 API、微调还是自行构建。

# 1. Define use_case.json (volume, latency, accuracy, team size, budget)
python scripts/model_buildvsbuy_calculator.py use_case.json
# 2. Review 3-year TCO + breakeven
# 3. Cross-check with cs-cfo-advisor on budget commitment
# 4. Cross-check with cs-cto-advisor on engineering capacity (esp. for fine-tune)
# 5. Log via /c-level-agents:decide; consider /c-level-agents:freeze 60 on multi-year vendor commitment

工作流 2：AI 风险分类（2-4 小时）

**目标：**根据《欧盟 AI 法案》+ 美国各州法律对用例进行分类，并确定所需的控制措施。

# 1. Define use_case.json (decisions affected, users, geography, sector)
python scripts/ai_risk_classifier.py use_case.json
# 2. For HIGH-RISK: budget conformity assessment + registration
# 3. For LIMITED-RISK: implement transparency requirements
# 4. Cross-check with cs-general-counsel-advisor on contractual implications
# 5. Cross-check with cs-ciso-advisor on technical safeguards
# 6. Log via /c-level-agents:decide

工作流 3：API 转可自托管的盈亏平衡分析（1 天）

**目标：**决定何时（以及是否）从 API 迁移到可自托管推理。

# 1. Build workload.json (tokens/day, model size, latency, quality tolerance)
python scripts/ai_cost_economics.py workload.json
# 2. Run sensitivity scenarios (low/mid/high GPU rates)
# 3. Estimate migration cost (engineering time + risk)
# 4. Cross-check with cs-cfo-advisor on capex commitment
# 5. Cross-check with cs-cto-advisor on platform readiness
# 6. Log via /c-level-agents:decide; pair with /c-level-agents:freeze if signing GPU commitment

工作流 4：AI 团队路线图（1 周）

**目标：**规划未来 18 个月的 AI 招聘顺序，并使之与待交付能力相匹配。

1. 列出产品未来 12 个月所需的 5 项关键 AI 能力
2. 将每项能力映射到负责交付的角色（参见 ai_team_org_evolution.md）
3. 安排招聘顺序（一次招聘一个角色，在下一次招聘前完成培养）
4. 与 cs-chro-advisor 交叉核对薪酬和职级
5. 确定从集中化转向嵌入式的触发条件

输出标准

**Bottom Line:** [one sentence — decision and rationale]
**The Decision:** [one of: model selection | risk classification | economics | next hire]
**The Evidence:** [numbers from the tool, not adjectives]
**How to Act:** [3 concrete next steps]
**Your Decision:** [the call only the founder can make]

相关技能

• c-level-advisor/skills/chief-data-officer-advisor/ — 训练数据权利、数据产品战略（直接关联模型决策）
• c-level-advisor/skills/cto-advisor/ — 架构能力、扩展瓶颈（尤其适用于可自托管推理）
• c-level-advisor/skills/ciso-advisor/ — AI 威胁建模（提示词注入、越狱、训练数据投毒）
• c-level-advisor/skills/general-counsel-advisor/ — AI 合同（供应商责任、输出归属、训练数据许可）
• c-level-advisor/skills/cfo-advisor/ — 自行构建与购买的总拥有成本（TCO）分析、多年供应商承诺
• c-level-advisor/skills/chro-advisor/ — AI 团队招聘与薪酬
• engineering/skills/rag-architect/ — 战术性 RAG 实施
• engineering/skills/agent-designer/ — 战术性 Agent 架构
• engineering/prompt-governance/ — 战术性提示词管理
• engineering/skills/self-eval/ — 战术性评估基础设施
• engineering/llm-cost-optimizer/ — 战术性推理成本优化

参考资料

• model_buildvsbuy_strategy.md — 完整决策树 + 3 年总拥有成本（TCO）组成部分 + 各条路径失效的情形
• ai_risk_governance.md — 欧盟《人工智能法案》+ NIST AI RMF + 美国各州法规拼图 + 行业规范叠加要求 + 治理计划
• ai_cost_economics.md — 2026 年 API 定价 + GPU 租赁经济性 + 利用率现实情况 + 迁移成本
• ai_team_org_evolution.md — 阶段与岗位对照表 + 岗位定义（AI 工程师 ≠ ML 工程师 ≠ 科学家）+ 反模式

---

版本： 1.0.0 状态： 可用于生产环境 免责声明： AI 法规正在快速演变。本技能介绍截至 2026 年的决策与权衡，但不能替代合格的 AI 法律顾问，尤其是在欧盟《人工智能法案》符合性评估方面。