senior-data-scientist

高级数据科学家

面向统计建模、实验、机器学习部署和数据驱动决策的专业数据科学能力——A/B 测试设计与分析、特征工程、模型训练/评估、生产环境部署和因果推断。

关键词

data-science, machine-learning, statistics, a-b-testing, causal-inference, feature-engineering, mlops, experiment-design, model-deployment, python, scikit-learn, pytorch, tensorflow, spark, airflow

核心能力

• 实验设计与分析 — 假设定义、功效分析与样本量估算、随机化、SRM 监控和事后显著性检验。
• 特征工程 — 数据分析、候选特征生成（时间、聚合、交互、文本）、特征选择（方差、相关性、SHAP/RFE）和数据泄漏验证。
• 模型训练与评估 — 分层/时间切分、基线模型、超参数调优、交叉验证、校准和公平性检查。
• 生产环境部署 — 容器化服务、输入/输出漂移监控（KS/PSI）、金丝雀发布以及延迟/错误 SLA。
• 因果推断 — 倾向得分匹配、双重差分、回归不连续、工具变量以及假设/安慰剂检验。

适用场景

• 设计或分析 A/B 测试。
• 构建特征工程流水线。
• 训练、评估或部署机器学习模型。
• 根据观察数据估算处理效应。

首先确认

运行分析或流水线之前，请确认以下输入。如果其中任何一项未知或含糊不清，请提问——不要自行假设：

• 任务 — A/B 测试设计 / 特征工程 / 模型评估 / 因果推断（决定所用脚本和工作流）
• 数据集与目标变量 — 要建模或测量的内容（决定特征生成和数据泄漏验证）
• 决策指标与最小效应 — 指标以及值得检测的最小效应（决定功效分析和样本量）

停止规则：只询问最可能影响输出的 2-3 项。如果用户说“先起草一版”，则继续操作，并在产出内容顶部列出假设。

工具

脚本	用途
scripts/experiment_designer.py	A/B 测试设计、功效分析、样本量计算
scripts/feature_engineering_pipeline.py	自动特征生成、相关性分析、特征选择
scripts/model_evaluation_suite.py	模型对比、交叉验证、部署就绪检查

对于假设检验、因果推断和回归分析，请使用内联 scipy/statsmodels——参见 references/statistical_methods_advanced.md。

参考资料

加载与任务匹配的参考资料——保持此文件精简，按需查阅详细内容：

• references/ds-workflows.md — 快速入门命令、技术栈、五种端到端工作流（A/B 测试、特征流水线、训练/评估、部署、因果推断），包含 Python 代码片段、性能目标和常用命令。执行任何数据科学任务时阅读。
• references/ds-operations.md — 故障排查表、成功标准以及各脚本完整的 CLI 参数参考。诊断问题或运行工具时阅读。
• references/statistical_methods_advanced.md — 高级统计方法参考（假设检验、因果推断、回归）。需要深入了解统计方法时阅读。
• references/experiment_design_frameworks.md — 实验设计框架和功效分析基础。设计严谨实验时阅读。
• references/feature_engineering_patterns.md — 特征工程模式和选择技术。构建特征时阅读。

范围与限制

此技能涵盖：

• 端到端实验设计，包括功效分析、随机化和事后分析
• 特征工程流水线，包括分析、生成、选择和验证
• 模型训练评估，包括交叉验证、校准和公平性检查
• 生产环境中的模型部署，包括监控、漂移检测和金丝雀发布

此技能不涵盖：

• 数据工程基础设施（ETL 编排、流水线调度、数据湖管理）——参见 senior-data-engineer
• 深度学习模型架构设计及大规模训练（分布式 GPU 训练、自定义层）——参见 senior-ml-engineer
• 提示词工程、RAG 系统和 LLM 微调工作流——参见 senior-prompt-engineer
• 计算机视觉流水线（目标检测、分割、视频处理）——参见 senior-computer-vision

集成点

技能	集成方式	数据流
senior-data-engineer	特征流水线从 ETL 输出中摄取数据；共享数据质量验证模式	原始数据存储 --> 特征工程流水线 --> 特征存储
senior-ml-engineer	将训练好的模型移交用于 MLOps 部署；共享模型注册表和服务配置	评估后的模型制品 --> 部署流水线 --> 生产环境服务
senior-prompt-engineer	来自 LLM 的嵌入特征输入 ML 流水线；实验框架应用于提示词 A/B 测试	LLM 嵌入 --> 特征向量；实验设计 --> 提示词评估
senior-architect	审查模型服务架构的可扩展性；使数据平台设计与训练基础设施保持一致	架构规范 --> 部署拓扑 --> 监控仪表板
senior-backend	将模型推理端点集成到后端服务中；为预测请求定义 API 契约	REST/gRPC 模型 API --> 后端服务层 --> 客户端应用
senior-devops	扩展 CI/CD 流水线以支持模型重新训练触发器；通过基础设施即代码部署容器化模型镜像	Docker 镜像 --> Kubernetes 清单 --> 生产集群