mcpField
P
programmatic-eda

programmatic-eda

github.com/nimrodfisher数据与数据库504259 次安装5 周前更新
代码仓库

关于 programmatic-eda

programmatic-eda 是用于分析前检查数据集的技能，适合分析人员评估新数据或有疑问的数据。它结合脚本、检查清单和报告模板，记录数据质量与发现。

主要功能

  1. 01数据集结构与类型概览
  2. 02空值和异常值检查
  3. 03分布与相关性分析
  4. 04EDA 检查清单和报告模板
  5. 05Pandas 与 Polars 模式参考

适用场景

  1. 01分析前评估新数据集
  2. 02调查分析结果异常
  3. 03建模前检查数据质量
  4. 04向利益相关者汇总数据问题

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/nimrodfisher/data-analytics-skills --skill programmatic-eda

安装后在 Claude Code 中输入/programmatic-eda确认已加载。

包含的文件

除 SKILL.md 外，安装时一起下载的参考资料和脚本。

assets/
eda_report_template.md
findings_summary.md
references/
eda_checklist.md
pandas_polars_recipes.md
quality_thresholds.md
scripts/
correlation_explorer.py
data_overview.py
distribution_summary.py
null_profiler.py
outlier_detector.py

详细介绍

适用场景

  • 收到新数据集，需要在分析前了解其结构和质量
  • 分析结果出现令人意外的数字，想先核实底层数据
  • 利益相关方询问“这些数据可靠吗？”或“这张表里有什么？”
  • 即将运行模型或统计检验，需要确保数据质量

流程

  1. 加载并概览 — 运行 scripts/data_overview.py，获取行数、数据类型、内存用量和样本。确认数据粒度（每行代表什么）。
  2. 空值概况 — 运行 scripts/null_profiler.py；将输出与 references/quality_thresholds.md 中的阈值进行比较，并标记超出限制的列。
  3. 异常值检测 — 对数值列运行 scripts/outlier_detector.py（IQR + z-score）；记录标记出的值，并判断它们是真实信号还是数据错误。
  4. 分布汇总 — 运行 scripts/distribution_summary.py，获取描述性统计数据以及每个数值列的单变量直方图。
  5. 相关性探索 — 运行 scripts/correlation_explorer.py；将 |r| > 0.8 的变量对标记为潜在的多重共线性或冗余。
  6. EDA 清单确认 — 按照 references/eda_checklist.md 逐项检查，并在确认数据集已完成概况分析前确认每一项。
  7. 撰写结论 — 将完整的概况分析输出填写到 assets/eda_report_template.md；提炼最重要的问题并填写到 assets/findings_summary.md。

有关模式示例（如 polars 与 pandas 的等效写法、大型文件的分块读取），请参阅 references/pandas_polars_recipes.md。

此技能所需的输入

  • 必需：数据集路径（CSV / Parquet / Excel），或当前已有的 DataFrame
  • 必需：业务背景 — 每行代表什么？
  • 可选：质量阈值覆盖项（默认值见 references/quality_thresholds.md）
  • 可选：要跳过的列（PII、二进制数据块、高基数 ID）

输出

  • assets/eda_report_template.md（已填写）— 包含逐列统计数据的完整概况分析报告
  • assets/findings_summary.md（已填写）— 最重要的 3–5 个质量问题及建议的后续步骤
  • 脚本的控制台输出 / 绘图，供交互式检查

评论

支持 Markdown