data-scientist-analyst

数据科学分析师

概述

此技能负责将采集得到的原始数据转化为可信的科学洞察。Agent 将编写 Python 脚本，执行数据清理（预处理）、推断统计检验（回归、PLS、ANOVA）、预测建模（机器学习），并以专业方式可视化性能指标结果（Matplotlib/Seaborn）。

依赖项

• 使用用于数据分析和机器学习的 Python 标准库及第三方库（Pandas、NumPy、SciPy、Statsmodels、Scikit-Learn、Matplotlib、Seaborn、XGBoost、LightGBM 等）。
• Agent 可以通过终端以编程方式安装 Python 依赖项。

快速开始

使用示例： “使用 data-scientist-analyst 技能对 saham_bank.csv 数据集执行 PLS 回归分析，并展示特征重要性可视化结果。”

数据分析与机器学习规则（绝对规则）

1. 严格的数据预处理：训练模型前，始终检查缺失值（missing values）和异常值（outliers），并对特征进行标准化／归一化。
2. 方法严谨的统计分析：
   • 分析变量关系时：执行多元线性／逻辑回归检验或偏最小二乘法（PLS）。
   • 始终提供 p 值、R-squared、t 统计量和 F 统计量等重要统计量，以验证显著性。
3. 机器学习最佳实践：
   • 严格划分数据集（训练集－测试集拆分），以避免数据泄漏（data leakage）。
   • 使用交叉验证（cross-validation，例如 K-Fold）衡量模型的稳健性。
   • 至少比较两种不同的模型算法（例如：线性回归与随机森林），以展示性能对比。
4. 专业可视化：
   • 所有生成的绘图／图表都必须包含 X 轴和 Y 轴标签、图例、标题，并使用优雅的配色方案（例如：seaborn-v0_8 或 coolwarm 调色板）。
   • 将可视化结果以高质量 .png 或 .pdf 格式保存到项目目录中。

工作流执行

1. 加载数据集：读取项目中的原始数据文件（如 .csv、.json 或 .xlsx）。
2. 执行确定性统计分析（必需）：在编写自定义分析之前，运行统计辅助脚本，生成准确且无幻觉风险的数字摘要（使用此技能安装目录中 run_stat_analysis.py 的绝对路径）：

python "<PATH_KE_SKILL>/scripts/run_stat_analysis.py" --input dataset.csv --output stat_report.json

3. 硬件工作负载预检（建议用于大型训练数据集）：在训练重量级 ML 模型 / 深度学习模型之前，使用技能 hardware-workload-estimator 检查本地 CPU、系统 RAM 和 GPU VRAM。如果预计耗时超过 20 分钟或存在 OOM 风险，请通过 Chrome DevTools MCP 提议迁移至 Google Colab 执行。
4. 数据探索（EDA）：使用 stat_report.json 中的准确数值分析数据集特征（mean、std、median、null count）。
5. 编写数据分析与建模脚本（3 层执行层级）：
   • 第 1 层（Python 原生技术栈——主要推荐）：使用 Python（pandas、statsmodels、scipy、pyreadstat、scikit-learn）。Python 能够原生读取 SPSS（.sav）、Stata（.dta）和 Excel（.xlsx）文件，并在无需商业软件许可的情况下提供 100% 准确的统计计算。
   • 第 2 层（无头批处理模式——SPSS/EViews/Stata/Excel）：如果用户要求使用特定软件，则调用技能 computer-use，通过 CLI 在后台执行批处理脚本（.sps、.prg、.do）。
   • 第 3 层（GUI Computer-Use 视觉回退方案）：用于需要模拟交互式视觉界面导航的情况。
6. 执行与评估：运行分析脚本，评估性能指标（R2、F1-Score、RMSE、p-value），并确保没有错误。
7. 研究解读与可视化：以学术结论的形式提供科学叙述，解释建模结果数值的实际含义，并提供已保存可视化图表文件的直接链接。

常见错误

• 数据泄漏：在将数据集拆分为训练集和测试集之前，对整个数据集进行缩放 / 归一化处理。
• 过拟合：报告较高的训练准确率，却不验证模型在独立测试数据上的性能。
• 未验证假设便进行统计检验：在验证数据正态性假设之前就进行参数检验（如 T 检验或 ANOVA）。