ai-operating-economics

AI 运营经济学

概述

AI 计划是对运营方式的干预，而不只是购买模型或制作 ROI 电子表格。其价值取决于哪些工作发生了变化、谁从中受益、质量或风险因此发生了什么变化、完整干预的成本是多少，以及组织能否观察和治理这些变化。

此技能提供了评估 AI 工作流的跨领域决策主线。它不会取代财务建模、产品度量、统计推断、Agent 评估、运行时运营或 AI 治理，而是让这些输入汇聚到一份权责明确的决策记录中。

核心问题不是“模型是否让人们的工作更快了？”，而是：“此工作流发生了哪些变化、对谁产生了影响、总成本是多少、结果和反向指标证据如何，以及组织下一步应授予什么权限？”

入口

起始状态	从何处开始	主要产物或路径
想法或拟议的 AI 工作流	步骤 1–2	templates/ai-initiative-evidence-record.md
已有试点或结果数据	步骤 3–7	references/evidence-method.md 加证据记录
请求扩大覆盖人群或副作用权限	步骤 7–8；加载 references/evidence-method.md 第 7a 节，准备治理材料包	治理证据材料包加证据记录
高管、产品组合、发布或生命周期审查	步骤 8–9	templates/ai-economics-review.md；将发布/运行时详情转交后续流程
独立的财务、统计、遥测、运行时或治理实施任务	“不适用场景”	指定的相邻专业技能

适用场景

当用户需要执行以下任务时，加载此技能：

• 为 AI 用例或 Agent 工作流构建有证据支持的商业论证。
• 决定 AI 试点应当扩大规模、保持受限、重新设计还是停止。
• 审查有关 AI 生产力、节省成本、采用情况或转型成效的主张。
• 设计 AI 价值实现评估或发布后的结果审查。
• 将模型和工具支出与工作流结果及员工或客户影响联系起来。
• 在考虑衡量不确定性和证据不可比性的同时，比较 AI 方案。
• 为 AI 干预准备高管、产品、产品组合或生命周期决策。

不适用场景

如果主要任务是……	转交给	此技能仍可提供……
财务报表、定价、CAC/LTV、现金跑道或 SaaS 指标	financial-modeling	AI 工作流的结果与成本证据可用于模型
Token、基础设施、配额、容量或 SLO 成本建模	capacity-and-cost-engineering	经济决策可参考由此得出的成本边界
指标树、事件架构、埋点 QA 或产品仪表板	product-analytics-and-measurement	决策可明确哪些结果与反向指标证据至关重要
实验设计、因果推断、统计检验或功效分析	data-scientist	决策可明确需要支持的主张与比较
Agent 数据集、评分器、追踪记录、回归分析或遥测实现	agent-evals-and-observability	决策可参考经核实的评估与遥测证据
生产环境推出、运行时预算、权限、回退、升级处理或停用	agent-production-operations	决策可设定证据与权限边界
全组织范围的 AI 风险、政策、合规或治理运营模式	ai-governance	项目记录可提供运营案例并指出未解决的差距
发布准备材料包或生产环境上线/不上线决策	production-readiness	项目处置结果可作为一项准备度输入
不涉及 AI 特定价值问题的一般产品治理节奏	product-operations-and-governance	仅在处理 AI 特定价值与运营经济问题时使用此技能

不可妥协的推理规则

1. 工作流证据优先于模型证据。 基准测试、演示或供应商声明，无法证明目标工作流中的价值。
2. 速度不等于价值。 节省的时间可能用于低价值工作，可能被审查与异常处理抵消，也可能促成更高价值的工作。应直接衡量业务或用户结果。
3. 仅看平均值并不够。 检查不同员工、用户、任务、地区、任期、风险和质量细分的数据。整体收益可能掩盖某个子群体的损失。
4. 每项收益指标都需要反向指标。 根据工作流情况，将吞吐量或成本与质量、安全、客户、员工、隐私或可靠性指标配对。
5. Token 成本不等于总成本。 在影响重大的情况下，应计入模型调用、工具、检索、存储、网络、可观测性、工程、人审、变更管理、治理以及未使用的承诺容量。
6. 证据类别必须分开。 分别标注观察到的结果、因果估计、推断、供应商报告的发现、利益相关方陈述和规范性要求。
7. 缺失的证据也是决策输入。 不要把未知转化为有利假设。记录差距、负责人、后果以及下一步所需的证据。
8. 权限应与证据相称。 试点结果为正，并不足以证明不受限制的自主权合理。应分阶段扩展能力与权限，并明确撤回条件。
9. 不要伪造精确性。 输入存在不确定性时，应使用范围、情景、敏感性分析和置信度。不要对不可比的研究或供应商进行排名。
10. 只有在文档说明可逆方式时，决策才可逆。 记录停止触发条件、回滚或遏制路径、决策负责人和复审日期。

核心工作流

使用此流程审查 AI 项目。若任务需要可长期留存的材料，请加载详细方法与证据记录模板。

按需求快速开始

需求	首要操作	接下来加载
梳理一项主张	说清工作流、决策和证据类别	第 1–3 步；证据类别在第 7 步中定义
建立持久记录	复制项目证据记录，并先填写页眉	templates/ai-initiative-evidence-record.md
调查不确定的证据	起草结论前冻结主张表	references/evidence-method.md
准备评审	汇总证据、细分数据、成本、差距和处置意见	templates/ai-economics-review.md

选择评审深度

模式	适用情形	最低证据要求	输出
初步评估	需要对一项主张或机会作出有明确范围的初步决策	工作流、价值假设、一项结果、一项反向指标、已知差距	暂缓，并制定后续分流／证据计划
标准	试点或工作流决策可能改变覆盖人群或投资	对比、结果／反向指标、细分数据、成本边界、负责人、撤回路径	扩大规模、限制范围、重新设计或暂缓
高保障	涉及权限、敏感数据、重大用户影响或不可逆变更	标准证据，以及治理材料包、人类监督、事件／重新验证和退役证据	仅在明确的权限边界内扩大规模，否则暂缓

1. 明确干预措施和决策

说明工作流、覆盖人群、任务边界、干预模式、基线、所需决策和决策负责人。说明 AI 是辅助、提供建议、路由、执行，还是替代／移除工作。明确哪些事项仍由人类控制。

不要从模型名称或宣称的百分比开始。应从发生变化的工作，以及证据必须支持的决策开始。

2. 陈述价值假设

写出可证伪的假设：

对于执行 [工作流] 的 [覆盖人群]，[干预措施] 将在 [周期] 内，相较于 [基线]，以 [完整运营成本边界] 实现 [结果] 按 [方向／范围] 变化，同时不超过 [反向指标边界]。

如果拟议结果只有“生产力”，就应将其分解为实际的客户、员工、运营、财务或使命成果。如果无法观察或可信地用代理指标衡量该结果，应将该项目标记为测量不完整，而不是编造代理指标。

3. 建立结果和反向指标图

定义：

• 主要结果：该项目旨在改善的结果。
• 领先指标：表明作用机制正在发挥作用的早期证据。
• 反向指标：可能恶化的质量、安全、客户、员工、隐私、可靠性或公平性指标。
• 采用和替代指标：谁在使用系统、哪些工作发生变化，以及哪些工作被取代或新增。
• 护栏阈值：有负责人和应对措施的情境化限制。

将指标定义和埋点计划交由产品分析团队处理。将统计或因果设计交由数据科学团队处理。本技能负责将证据与决策关联起来，而非制定详细的统计方法。

4. 明确完整的经济成本边界

记录以下两类：

• **边际经济性：**每多处理一个任务、服务一位用户或运行一个工作流单元时，发生变化的部分。
• **完全成本经济性：**为提供和治理该干预措施所需的成本。

至少考虑推理、工具使用、检索、存储、数据传输、可观测性、工程、评估、人工审核、培训、支持、变更管理、治理、安全和已承诺容量。区分固定成本、可变成本、阶梯式成本和可避免成本。精确定义分母：任务、已解决的案例、已完成的工作流、活跃用户、客户成果，或其他有意义的单位。

将详细模型交由容量与成本工程或财务建模团队处理。如果不同请求的资源或结果特征存在重大差异，切勿用总支出除以未作区分的请求数量。

5. 设计证据比较

在解读结果之前，先选择可行的最有力比较方法：

• 条件允许时，采用随机化或分阶段推出。
• 适用时，采用匹配比较或双重差分比较。
• 采用工作流内基线时，明确说明前期时段和季节性方面的限制。
• 开展受控试点，并记录任务和人群范围。
• 仅在无法采用更强设计时，使用描述性的前后对比证据，并明确标注。

记录选择效应、学习效应、同期举措、任务组合变化、员工自我选择、质量衡量缺口，以及薪酬或激励的变化。如果比较无法支撑所要求的主张，应缩小主张范围，而不是用修辞夸大方法的效力。

6. 先分组，再汇总

报告总体结果，并检查可能影响决策的细分组：

• 员工经验、技能、角色和培训状态。
• 任务复杂度、风险、数量和异常率。
• 客户或用户群体。
• 在合法且适当的情况下，考虑地理位置、语言、无障碍需求和相关人口群体。
• 人工审核负担和升级路径。
• 质量、安全性和错误严重程度。

将效果异质性视为发现，而不是可以平均掉的噪声。如果某工具能帮助新手，却损害专家的工作质量，那么可能需要采用差异化辅助模式，而不是全面推出。

7. 对证据分类

对于每项重要主张，都应标注类别：

类别	含义	允许用途
已观察	在目标工作流中通过明确说明的方法直接测量	描述所述范围内发生的情况
因果估计	有可信的比较或实验作为支撑	仅在设计限制范围内归因效果
推断	根据已观察证据和明确假设进行推理	指导范围有限的假设或情景分析
供应商报告	提供方调查、案例研究或产品文档	确认报告的采用情况或可用能力，而非已实现的 ROI
声称	尚未验证的利益相关方或提案主张	作为假设和证据缺口进行跟踪
规范性	标准或框架建议	定义控制要求，而非结果主张

每项主张都应记录来源、访问日期、范围、版本、注意事项和允许的解读方式。加载 references/source-index.md，了解研究依据和证据边界。

最低要求：主张台账

对于每项重要主张，记录：主张、证据类别、来源和范围、支持的内容、不支持的内容、待解决的质疑和允许使用的措辞。明确列出未知主张；不要用来源 URL 或供应商报告替代工作流中的直接证据。

最低要求：决策记录

每次已完成的审查都必须在一个持久化记录中列明：干预措施和人群、价值假设、主要结果指标、反向指标、比较方法及其局限、成本边界、相关细分组、证据类别、缺失证据及责任人、处置决定、权限限制、撤销路径和审查触发条件。

处置快速参考

证据状态	默认处置	后续控制措施
结果和反向指标支持有限度地扩展；成本和细分组情况明确	扩大规模	指定下一阶段的人群和权限范围
价值有一定可信度，但成本、质量、子群体或权限边界仍未明确	限制	限制人群、任务、配额或人工审核范围
作用机制会造成可避免的失败或负担	重新设计	修改工作流或控制措施，并重新进行比较
缺少必要证据或证据互相矛盾	暂缓	指定证据责任人和审查触发条件
不具备价值，或反向指标超出界限	退役	保护受影响人员，完成迁移并记录经验
有明确姓名的人类责任人暂时接受某项重要缺口	例外处理	设定到期时间、遏制措施、审批人和复审条件

8. 做出有边界的决策

恰好选择一个主要处置方案：

• **扩大规模：**证据支持在明确的范围和权限边界内扩大应用。
• **限制：**价值有一定可能性，但成本、质量、风险或分配效应要求设定限制。
• **重新设计：**再次测试前需要修改机制或工作流。
• **暂缓：**证据不足以支持所要求的决策；请明确指出缺少哪些证据。
• **退役：**未观察到价值，或反向指标超出可接受范围，并制定过渡路径。
• **例外：**仅在有负责的人类审批者、到期时间或复审触发条件以及控制计划的情况下，才可在存在明确缺口时继续推进。

结项条件

• **扩大规模：**记录下一阶段的人群、权限范围、负责人和复审触发条件。
• **限制：**记录边界、配额、人工审核规则以及扩大应用的条件。
• **重新设计：**记录变更后的机制、重新运行的对比测试以及新的验收边界。
• **暂缓：**记录缺少的证据、负责人、方法和截止触发条件。
• **退役：**记录过渡安排、对受影响人员的保护、停用安排以及保留的经验。
• **例外：**记录指定的人类审批者、范围、到期时间、控制措施和复审条件。

决策若未注明负责人、复审日期或触发条件、证据缺口和撤回路径，就不完整。将发布或运行时的后续事项交由相应的专业技能处理。

9. 完成学习闭环

到达复审日期时，对比预期与实际观察到的结果、成本、质量、员工或用户影响、采用情况和事件。保留更新后的证据记录，并说明先前的假设是得到支持、被削弱、被推翻，还是仍未解决。将已核实的事件和未遂事件纳入评估与治理工作，而不是把它们当作轶事式的后续记录。

按需加载的参考资料

需求	加载时机	文件
应用完整的研究与决策方法，包括对比设计和不确定性分析	证据不完整、存在争议或影响重大时	references/evidence-method.md
审核来源及允许的解读范围	某项主张需要来源依据或来源边界时	references/source-index.md
填写可长期保存的计划记录	开始新的工作流审查或试点评估时	templates/ai-initiative-evidence-record.md
准备高管审查或生命周期审查	汇总一项或多项计划记录以供决策时	templates/ai-economics-review.md

常见陷阱

• 将 AI 基准测试、速度提升或演示当作商业价值的证据。
• 将供应商调查当作经过审计的财务结果或因果估计。
• 只报告一个平均值，却省略员工、任务、质量或客户细分数据。
• 将 token 支出称为“AI 成本”，却漏掉审核、工具、检索、基础设施或变更成本。
• 选择有利于呈现经济效益的分母，例如使用所有请求，而不是已完成或已解决的工作流。
• 将缺失的基线视为零，或假定采用就意味着有收益。
• 将规范性框架当作干预措施安全或有效的证明。
• 因试点的平均结果为正，就赋予更广泛的权限。
• 在工作流、模型、人群、成本边界或证据来源发生变化后，仍沿用先前的决策。
• 提出精心设计的建议，却未保留支持建议的来源级证据。

验证清单

在交付 AI 运营经济决策前，请验证：

• 工作流、干预措施、目标人群、基线、决策负责人和人工控制边界均已明确。
• 价值假设可证伪，并与可观测结果相关联。
• 每项效益主张都定义了至少一个反向指标。
• 在重要情况下，已区分固定成本、可变成本、阶梯式成本和完全成本。
• 分母代表有意义的工作或价值，而不只是请求数或令牌数。
• 已说明对比设计及其局限性。
• 已检查相关的员工、用户、任务、质量和风险切片；若无法检查，也已明确说明。
• 已按证据类别标注主张，并追溯至来源。
• 已明确列出缺失证据，并注明负责人和后续步骤。
• 已记录处置方案、权限边界、回退路径和审查触发条件。
• 详细的统计、财务、仪表化、治理、运行时和发布检查已分派给负责这些工作的技能。

结束标准

当所请求的决策已有持久化证据记录支持，或如实得出的结果是暂缓或升级处理时，即可停止。不要继续润色文字来掩盖证据缺失。