code-data-analysis-scaffolds

代码与数据分析脚手架

目录

• 概述
• 工作流
• 脚手架类型
• 防护措施
• 快速参考

概述

此技能为常见技术模式提供结构化脚手架：

1. TDD 脚手架：根据需求，先生成测试结构，再实现代码
2. EDA 脚手架：根据数据集，制定系统化的探索计划
3. 统计分析脚手架：根据问题，设计合适的统计检验或模型
4. 验证脚手架：根据代码、模型或数据，创建全面的验证清单

当用户希望立即执行而不需要脚手架、已有明确计划，或任务很简单时，跳过此技能。

快速示例：

任务：“编写身份验证函数”

TDD 脚手架：

# 测试结构（先编写这些测试）
def test_valid_credentials():
    assert authenticate("[email protected]", "correct_pass") == True

def test_invalid_password():
    assert authenticate("[email protected]", "wrong_pass") == False

def test_nonexistent_user():
    assert authenticate("[email protected]", "any_pass") == False

def test_empty_credentials():
    with pytest.raises(ValueError):
        authenticate("", "")

# 现在实现 authenticate()，使测试通过

工作流

复制此清单并跟踪进度：

Code Data Analysis Scaffolds Progress:
- [ ] Step 1: Clarify task and objectives
- [ ] Step 2: Choose appropriate scaffold type
- [ ] Step 3: Generate scaffold structure
- [ ] Step 4: Validate scaffold completeness
- [ ] Step 5: Deliver scaffold and guide execution

步骤 1：明确任务和目标

向用户询问任务、数据集或代码库背景、约束条件和预期结果。确定这是 TDD（先编写测试）、EDA（探索数据）、统计分析（检验假设）还是验证（检查质量）。有关背景问题，请参阅 resources/template.md。

步骤 2：选择合适的脚手架类型

根据任务选择脚手架：TDD（测试代码）、EDA（探索数据）、统计分析（假设检验、A/B 测试）、因果推断（估算处理效应）、预测建模（构建 ML 模型）或验证（检查质量）。有关如何选择，请参阅脚手架类型。

步骤 3：生成脚手架结构

创建系统化框架，明确各个步骤、验证检查点以及每个阶段的预期输出。对于标准情况，使用 resources/template.md；对于高级技巧，请参阅 resources/methodology.md。

步骤 4：验证脚手架的完整性

检查脚手架是否涵盖所有要求、包含验证步骤、明确说明假设并提供清晰的成功标准。使用 resources/evaluators/rubric_code_data_analysis_scaffolds.json 进行自我评估——最低分数为 ≥3.5。

步骤 5：交付脚手架并指导执行

提供脚手架并明确后续步骤。如果用户需要执行方面的帮助，请系统地遵循脚手架。如果脚手架揭示了缺口（缺少数据、需求不明确），请在继续之前指出这些问题。

脚手架类型

TDD（测试驱动开发）

适用情况：编写新代码、重构现有代码、修复错误 输出：测试结构（测试用例 → 实现 → 重构） 关键要素：覆盖正常流程、边缘情况和错误条件的测试用例，以及测试数据设置

EDA（探索性数据分析）

适用情况：新数据集、数据质量问题、特征工程 输出：探索计划（数据概览 → 质量检查 → 单变量分析 → 双变量分析 → 洞见） 关键要素：数据形状和类型、缺失值、分布、异常值、相关性

统计分析

适用情况：假设检验、A/B 测试、组间比较 输出：分析设计（问题 → 假设 → 检验选择 → 假设条件 → 结果解读） 关键要素：零假设和备择假设、显著性水平、功效分析、假设条件检查

因果推断

适用场景：估计处理效应，理解因果关系，而非仅了解相关性 输出：因果设计（DAG → 识别策略 → 估计 → 敏感性分析） 关键要素：混杂因素、处理组/对照组、识别假设、效应估计

预测建模

适用场景：构建 ML 模型、进行预测、执行分类/回归任务 输出：建模流程（数据准备 → 特征工程 → 模型选择 → 验证 → 评估） 关键要素：训练集/验证集/测试集划分、基线模型、指标选择、交叉验证、误差分析

验证

适用场景：部署前检查数据质量、代码质量和模型质量 输出：验证清单（断言 → 边缘情况 → 集成测试 → 监控） 关键要素：验收标准、测试覆盖率、错误处理、边界条件

防护措施

• 先澄清，再搭建框架 - 不要猜测用户的需求；先提出澄清问题
• 区分因果与预测 - 因果推断需要采用不同于预测的方法（RCT/IV 与 ML）
• 明确说明假设 - 每个框架搭建都包含假设（数据分布、用户行为、系统约束）
• 包含验证步骤 - 框架应包含检查点，以便在每个阶段验证工作
• 提供示例 - 展示优秀成果的样子（测试示例、EDA 可视化示例、模型评估示例）
• 及早指出缺口 - 如果框架揭示了数据/需求缺失，请立即指出
• 避免过早优化 - 从简单的框架开始，仅在需要时增加复杂度
• 遵循最佳实践 - TDD：先测试；EDA：从数据质量入手；建模：先建立基线，再使用复杂模型

快速参考

任务类型	适用场景	框架资源
TDD	编写/重构代码	resources/template.md #tdd-scaffold
EDA	探索新数据集	resources/template.md #eda-scaffold
统计分析	假设检验、A/B 测试	resources/template.md #statistical-analysis-scaffold
因果推断	处理效应估计	resources/methodology.md #causal-inference-methods
预测建模	构建 ML 模型	resources/methodology.md #predictive-modeling-pipeline
验证	发布前质量检查	resources/template.md #validation-scaffold
示例	查看优秀成果的样子	resources/examples/
评分标准	验证框架质量	resources/evaluators/rubric_code_data_analysis_scaffolds.json