mcpField
E
exploratory-data-analysis

exploratory-data-analysis

github.com/jackspace数据与数据库1687 次安装13 周前更新
代码仓库

关于 exploratory-data-analysis

用于探索表格数据的 Skill，提供统计分析、可视化和报告指引，帮助分析人员发现数据质量问题、模式与关联，支持多种常见文件格式。

主要功能

  1. 01分析缺失数据与重复项
  2. 02汇总统计与异常值检测
  3. 03分布和相关性分析
  4. 04自动生成分析见解
  5. 05生成高分辨率图表
  6. 06报告模板与方法指南

适用场景

  1. 01建模前检查数据质量
  2. 02探索销售数据中的相关性
  3. 03查看时间序列模式与分布

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/jackspace/claudeskillz --skill exploratory-data-analysis

安装后在 Claude Code 中输入/exploratory-data-analysis确认已加载。

附带文件SKILL.json

详细介绍

探索性数据分析

通过统计分析和可视化，发现表格数据中的模式、异常和关系。

支持的格式：CSV、Excel（.xlsx、.xls）、JSON、Parquet、TSV、Feather、HDF5、Pickle

标准工作流

  1. 运行统计分析：
python scripts/eda_analyzer.py <data_file> -o <output_dir>
  1. 生成可视化图表：
python scripts/visualizer.py <data_file> -o <output_dir>

  1. 从 <output_dir>/eda_analysis.json 读取分析结果

  2. 使用 assets/report_template.md 的结构创建报告

  3. 展示发现，并附上关键见解和可视化图表

分析能力

统计分析

运行 scripts/eda_analyzer.py 以生成全面的分析结果：

python scripts/eda_analyzer.py sales_data.csv -o ./output

生成 output/eda_analysis.json，其中包含：

  • 数据集的形状、类型和内存使用情况
  • 缺失数据模式及占比
  • 汇总统计信息（数值型和类别型）
  • 异常值检测（IQR 和 Z-score 方法）
  • 分布分析及正态性检验
  • 相关矩阵（Pearson 和 Spearman）
  • 数据质量指标（完整性、重复项）
  • 自动生成的见解
可视化图表

运行 scripts/visualizer.py 以生成图表：

python scripts/visualizer.py sales_data.csv -o ./output

在 output/eda_visualizations/ 中创建高分辨率（300 DPI）的 PNG 文件：

  • 缺失数据热力图和柱状图
  • 分布图（带 KDE 的直方图）
  • 用于展示异常值的箱线图和小提琴图
  • 相关性热力图
  • 用于展示数值型变量关系的散点矩阵
  • 类别型柱状图
  • 时间序列图（检测到日期时间列时）
自动生成的见解

从分析 JSON 的 "insights" 键中获取生成的见解：

  • 数据集大小方面的注意事项
  • 缺失数据警告（超过阈值时）
  • 可用于特征工程的强相关性
  • 高异常值比例提示
  • 需要进行转换处理的偏度
  • 重复项检测
  • 类别不平衡警告

参考资料

统计结果解读

请参阅 references/statistical_tests_guide.md，了解以下内容的详细指南：

  • 正态性检验（Shapiro-Wilk、Anderson-Darling、Kolmogorov-Smirnov）
  • 分布特征（偏度、峰度）
  • 相关性方法（Pearson、Spearman）
  • 异常值检测（IQR、Z-score）
  • 假设检验和数据转换

解读统计结果或说明分析发现时使用。

方法论

请参阅 references/eda_best_practices.md，了解以下内容的全面指南：

  • EDA 的 6 步流程框架
  • 单变量、双变量、多变量分析方法
  • 可视化和统计分析指南
  • 常见陷阱和特定领域的注意事项
  • 面向不同受众的沟通策略

规划分析或处理特定情况时使用。

报告模板

使用 assets/report_template.md 构建分析发现。模板包含：

  • 执行摘要
  • 数据集概览
  • 数据质量评估
  • 单变量、双变量和多变量分析
  • 异常值分析
  • 关键见解和建议
  • 局限性和附录

使用分析 JSON 的结果填写各章节，并通过 Markdown 图片语法嵌入可视化图表。

示例：完整分析

用户请求：“探索此 sales_data.csv 文件”

# 1. Run analysis
python scripts/eda_analyzer.py sales_data.csv -o ./output

# 2. Generate visualizations
python scripts/visualizer.py sales_data.csv -o ./output

# 3. Read results
import json
with open('./output/eda_analysis.json') as f:
    results = json.load(f)

# 4. Build report from assets/report_template.md
# - Fill sections with results
# - Embed images: ![Missing Data](./output/eda_visualizations/missing_data.png)
# - Include insights from results['insights']
# - Add recommendations

特殊情况

数据集大小策略

如果少于 100 行：说明样本量限制，并使用非参数方法

如果为 100 至 1M 行：使用标准工作流

如果超过 1M 行：先抽样进行快速探索，在报告中注明样本量，并建议使用分布式计算进行完整分析

数据特征

高维数据（超过 50 列）：优先关注关键变量，使用相关性分析识别变量组，并考虑 PCA 或特征选择。请参阅 references/eda_best_practices.md 获取指导。

时间序列：自动检测日期时间列，并自动生成时间可视化图表。请考虑趋势、季节性和模式。

不平衡数据：类别分析会自动标记不平衡情况。重点报告分布情况，并在需要时建议使用分层抽样。

输出指南

将发现内容整理为 Markdown：

  • 使用标题、表格和列表来组织内容
  • 嵌入可视化图表：![Description](path/to/image.png)
  • 为建议的转换操作添加代码块
  • 突出关键见解

让报告具有可操作性：

  • 提供明确的建议
  • 标记需要关注的数据质量问题
  • 建议后续步骤（建模、特征工程、进一步分析）
  • 根据用户的技术水平调整沟通方式

错误处理

不支持的格式：请求将文件转换为受支持的格式（CSV、Excel、JSON、Parquet）

文件过大：建议抽样或分块处理

数据损坏：报告具体错误，建议清理步骤，并尝试进行部分分析

空列：在数据质量部分标记，并建议移除或调查

资源

脚本（自动处理所有格式）：

  • scripts/eda_analyzer.py - 统计分析引擎
  • scripts/visualizer.py - 可视化生成器

参考资料（按需加载）：

  • references/statistical_tests_guide.md - 检验结果解读和方法论
  • references/eda_best_practices.md - EDA 流程和最佳实践

模板：

  • assets/report_template.md - 专业报告结构

要点

  • 运行两个脚本以完成全面分析
  • 使用模板组织报告
  • 提供可操作的见解，而不只是统计数据
  • 使用参考指南进行详细解读
  • 记录数据质量问题和局限性
  • 明确提出后续步骤的建议

评论

支持 Markdown