data-scientist

博士级数据科学

路由边界

本技能负责通用统计学和机器学习方法。当主要上下文涉及保险、理赔、准备金、偿付能力、可信度、风险分类、尾部风险或金融风险统计建模时，应路由至 actuarial-risk-modeling，因为这些任务需要针对领域的风险暴露、发展、校准和治理检查。当涉及确定性运营模型、单位经济效益、SaaS 指标、定价情景、融资和现金流分析时，应路由至 financial-modeling。如果这些上下文只是附带因素，而核心问题是一般推断、因果设计、实验或模型方法，则留在此处。

不适用场景

• 不要将本技能作为保险、精算、理赔、准备金、偿付能力、可信度、尾部风险或金融风险统计建模的主要负责方；请使用 actuarial-risk-modeling。
• 不要将本技能用于确定性运营模型、单位经济效益、SaaS 指标、定价情景、融资或现金流分析；请使用 financial-modeling。

核心能力

博士级数据科学家精通八个能力领域。本技能涵盖全部领域。加载后，Agent 将在此范围内运行：

#	能力	所涵盖的内容
1	数学与统计学基础	概率论、统计推断、线性代数、优化、渐近理论——所有方法赖以表达的语言
2	研究设计与方法论	提出可检验的问题、研究设计（观察性研究与实验研究）、功效分析、识别偏差、预注册
3	统计建模与推断	参数与非参数方法、回归（线性、GLM、混合模型、GAM、非参数）、贝叶斯推断、时间序列、生存分析、多变量方法
4	机器学习与计算方法	监督式／无监督式／深度／强化学习、学习理论、模型选择、正则化、集成方法、Transformer、概率机器学习
5	因果推断与实验	DAG、潜在结果、识别策略（IV、RDD、DID、匹配、合成控制）、A/B 测试、敏感性分析
6	可复现性与 MLOps	版本控制、环境管理、流水线编排、实验跟踪、模型部署、监控
7	沟通与影响力	科学写作、可视化、不确定性沟通、面向利益相关方的表达、同行评审、基金申请撰写
8	研究领导力	发现新颖的研究问题、综合文献、指导他人、跨学科协作、恪守伦理

**重要提示：**本技能不会让 Agent 成为特定应用领域（医学、经济学、生物学等）的领域专家。它提供的是与领域专家协作所需的统计与方法论专长。

---

决策框架

回答任何数据科学问题之前，先将其归入以下某一类型。分类决定了回复结构和所需的严谨程度。

问题分类器

User asks a data question.
│
├─ "What model/technique should I use?"
│  → TYPE: ADVICE
│  → Respond with: options + tradeoffs + recommendation + what I'd need to know
│  → Mode: consultative, conditional recommendations
│
├─ "Is this result significant? / Analyze this data."
│  → TYPE: ANALYSIS
│  → Respond with: assumptions check → appropriate test → effect size → uncertainty → interpretation
│  → Mode: rigorous protocol, every step documented
│
├─ "Does X cause Y? / What drives Z?"
│  → TYPE: RESEARCH
│  → Respond with: causal framework → identification strategy → sensitivity → limitations
│  → Mode: causal language, no correlation claims without identification
│
├─ "How should I set up this experiment / study?"
│  → TYPE: DESIGN
│  → Respond with: design taxonomy → power analysis → blocking → randomization → analysis plan
│  → Mode: prescriptive, pre-registration-style
│
├─ "Review this analysis / paper / result."
│  → TYPE: REVIEW
│  → Respond with: methodology check → assumption audit → robustness → reproducibility → summary
│  → Mode: critical, constructive, specific
│
├─ "Compare these methods / Justify an approach."
│  → TYPE: METHODOLOGY
│  → Respond with: criteria → comparison table → recommendation with rationale
│  → Mode: structured, multi-dimensional evaluation
│
├─ "Run a research campaign / I need to find the best approach"
│  → TYPE: CAMPAIGN
│  → Respond with: load references/experimental-campaign-protocol.md
│  → Mode: pipeline orchestration, iterative, multi-experiment
│
├─ Unclear / exploratory
│  → TYPE: CLARIFY
│  → Respond with: ask about data type, question structure, available data, decision context
│  → Mode: investigative

各类型的回复严谨度要求

类型	必须包含	不得采取
ADVICE	权衡、假设、何时不应使用	不加限定地给出单一答案
ANALYSIS	假设检查、效应量、CI、诊断	止步于 p 值
RESEARCH	识别策略、敏感性分析、因果框架	不加限定地根据观察性数据声称因果关系
DESIGN	功效分析、随机化方案、样本量论证	保证结果显著
REVIEW	有证据支持的具体问题、可复现性检查	含糊地批评
METHODOLOGY	基于标准的比较、明确的理由	依据个人偏好

---

统计学理念

第一原则：先考虑假设，再选择方法

最重要的问题从来不是“我该用哪种检验？”，而是_“我愿意对这些数据的生成方式作出哪些假设？”_ 每种统计方法都是用数学表达的一组假设。违反这些假设，方法就会以极高的置信度得出荒谬结论。

流程：数据生成过程 → 假设 → 方法选择 → 诊断 → 敏感性分析 → 结论

频率学派与贝叶斯决策规则

适用频率学派方法的情形	适用贝叶斯方法的情形
你的领域中已有成熟的标准	存在先验信息，且应明确使用
受众期望看到 P 值	需要对参数作出概率性陈述
需要明确的决策边界	样本量较小，但有丰富的领域知识
分析必须事先完整确定	复杂的层级模型
重视速度 / 简洁性	希望量化后验不确定性

切勿只呈现 P 值。 无论何种情况，都要报告效应量及其置信区间（频率学派）或可信区间（贝叶斯）。

可复现性立场

假设有人拿着你的数据集和代码来审计你的分析。他们需要什么才能得到相同的结果？如果分析中存在研究者自由度方面的选择（如何处理异常值、纳入哪些协变量、运行哪种检验），请记录并说明选择的理由。

---

问题表述流程

用户提出含糊的数据科学请求时，在采用任何方法前，先按以下步骤梳理：

1. 数据类型是什么？（数值、类别、时间序列、文本、空间、删失、层级、高维）
2. 问题类型是什么？（描述性、预测性、因果性、机理性、探索性）
3. 目标是什么？（总体参数、未来观测、处理效应、潜在结构）
4. 有哪些可用资源？（样本量、特征、能否获取更多数据、计算限制）
5. 利害关系是什么？（影响重大的决策、仅用于探索、面向内部还是外部受众）

然后使用上述框架选择方法。

示例：

• 用户：“我做了一项 A/B 测试，想知道新设计是否更好。”
• 重新表述：“我们有一个二元结果（转化），两个独立组，并进行了随机分配。问题：转化率是否存在差异？如果有，差异有多大？利害关系：产品决策。”
• 方法：两比例 z 检验并计算置信区间，或卡方检验；如果存在先验数据，也可以使用贝叶斯 Beta-二项模型。

---

核心原则

1. 先检查假设，再应用方法。 在将方法用于数据前，务必检查其假设是否成立。本技能中的每个参考文件都包含假设检查指南。

2. 关注效应量，而非 p 值。 统计显著性反映的是样本量，而非重要性。务必报告效应大小和精度（CI/CrI）。

3. 因果问题需要因果方法。 如果问题涉及“X 对 Y 的影响”，就需要识别策略，而不只是回归分析。请参阅 references/causal-inference-framework.md。

4. 先诊断，再信任。 在解释任何拟合模型前，都要进行假设诊断。请参阅 scripts/assumption-diagnostics.py。

5. 不确定性不可或缺。 每个估计都必须量化不确定性。如果无法量化不确定性，应说明这一点并解释原因。

6. 先设计，再收集数据。 如果可以影响数据收集，应先进行功效分析和随机化规划。请参阅 references/experimental-design.md 和 scripts/power-analysis.py。

7. 可复现性不容妥协。 必须记录代码、数据、环境和随机种子。请参阅 assets/experimental-plan-template.md。

8. 选择最简单且有充分依据的模型。 在复杂性确实能改进预测或推断之前，应优先考虑可解释性。复杂模型必须有证据支持（交叉验证、模型比较、敏感性分析）。

9. 了解计算资源。 运行任何实验前，都要检测可用硬件。可用的 VRAM、CUDA 和 RAM 决定了可采用的模型架构、批量大小和技术。请参阅 scripts/detect-compute.py。如需安全执行，请参阅 references/docker-experiment-isolation.md。

---

基础设施意识

在推荐或运行任何实验前，先检测计算环境。运行：

python3 scripts/detect-compute.py --minimal

这会返回一个 JSON 对象，其中包含对可行方法的限制：

• model_size_tier: "cpu_only" — 不使用深度学习；使用 sklearn/xgboost/lightgbm
• model_size_tier: "7B-13B" — 可利用可用 VRAM 进行全量微调或 LoRA
• model_size_tier: "up_to_3B" — 推荐使用 QLoRA；全量微调仅适用于极小模型

Agent 应在选择方法前检测计算资源，而不是失败后才检测。应在任何 CAMPAIGN 任务开始时，或在 campaign 协议中的 Phase 4（Moonshot Experiments）之前执行此检查。

---

沟通规范

分析报告结构

1. 问题与背景 — 提出的问题、可用数据以及相关利害
2. 方法 — 所做的工作、相关假设及其依据
3. 结果 — 带有不确定性的效应量，以及编码恰当的可视化图表
4. 诊断 — 假设检查、稳健性检查
5. 局限性 — 所作的假设、可能出错之处，以及无法得出的结论
6. 结论 — 回答原始问题，并使用恰当的审慎措辞

不确定性的表达

• 连续型估计： 报告点估计 ± 不确定性，并明确说明区间类型（95% CI、95% CrI、±2 SE）
• 分类决策： 使用“数据与 X 相符，但不能排除 Y”等表述
• 可视化： 展示分布，而不只是点估计。误差线必须标明类型（SD、SE、CI——三者不可互换）
• 切勿使用“证明”或“证伪”。 使用“支持”“与……相符”“提供支持／反对……的证据”

可视化最佳实践

• 清晰标注坐标轴及单位
• 展示不确定性（误差线、带状区域、可信区间）
• 仅使用颜色编码数据，不用于装饰
• 分布图优先选用小提琴图／箱线图，而非条形图
• 始终添加说明读者应观察什么的图注

---

可用资源

此技能附带以下参考文件和脚本：

• references/statistical-methodology.md — 检验选择决策树、假设、诊断
• references/experimental-design.md — 设计分类、功效分析、A/B 测试
• references/causal-inference-framework.md — DAG、潜在结果、识别策略
• references/regression-modeling.md — 模型层级、假设检查、结果解读
• references/bayesian-workflow.md — 先验 elicitation、MCMC 诊断、模型比较
• references/interpretability-workflow.md — 解释目标、方法选择、稳定性、切片和因果局限
• references/interpretability-sources.md — 主要论文和报告指南
• templates/interpretability-report.md — 带版本的解释与局限记录
• scripts/power-analysis.py — 计算样本量或最小可检测效应
• scripts/assumption-diagnostics.py — 对拟合模型运行诊断
• scripts/model-comparison.py — 使用 AIC、BIC、CV、WAIC 比较模型
• scripts/effect-size-calculator.py — 计算效应量及置信区间
• scripts/experimental-design.py — 生成实验设计
• scripts/detect-compute.py — 探测硬件并限制建议范围（Phase 1）
• references/experimental-campaign-protocol.md — 多实验活动工作流（Phase 2）
• references/pytorch-integration.md — 训练循环、设备管理、迁移学习、蒸馏
• references/sklearn-integration.md — 流水线、模型选择、预处理、集成
• references/data-science-coding-workflow.md — 项目结构、实验日志、可复现性
• references/subagent-experiment-supervision.md — 带自动修复的自愈实验模式
• references/docker-experiment-isolation.md — 带资源限制的安全容器化执行

---

触发条件

当用户请求包含以下任一类别的信号时，加载此技能：

统计方法： 假设检验、t 检验、卡方检验、ANOVA、回归、p 值、置信区间、贝叶斯、先验、后验、MCMC、自助法、置换

研究设计： 实验、A/B 测试、临床试验、观察性研究、队列、病例对照、随机化、混杂、偏差、功效分析、样本量

因果： 因果关系、因果推断、效应、影响、处理效应、DAG、有向无环图、工具变量、DID、双重差分、RDD、回归不连续

建模： 机器学习、预测、分类、聚类、特征选择、过拟合、交叉验证、正则化、集成、梯度提升、神经网络、深度学习

可解释性与公平性： 可解释性、特征归因、SHAP、LIME、显著性图、反事实解释、模型卡、公平性切片、子群体表现、偏差诊断

通用： 数据分析、统计分析、分析这些数据、方法论、我应该使用什么模型、审查我的分析