exploratory-data-analysis

探索的データ分析

統計分析と可視化を通じて、表形式データ内のパターン、異常、関係性を発見します。

対応形式：CSV、Excel（.xlsx、.xls）、JSON、Parquet、TSV、Feather、HDF5、Pickle

標準的なワークフロー

1. 統計分析を実行します：

python scripts/eda_analyzer.py <data_file> -o <output_dir>

2. 可視化を生成します：

python scripts/visualizer.py <data_file> -o <output_dir>

3. <output_dir>/eda_analysis.json から分析結果を読み込みます

4. assets/report_template.md の構成を使ってレポートを作成します

5. 重要な知見と可視化を用いて結果を提示します

分析機能

統計分析

scripts/eda_analyzer.py を実行して、包括的な分析を生成します：

python scripts/eda_analyzer.py sales_data.csv -o ./output

output/eda_analysis.json が生成され、以下の内容が含まれます：

• データセットの形状、型、メモリ使用量
• 欠損データのパターンと割合
• 要約統計量（数値型およびカテゴリ型）
• 外れ値検出（IQR法およびZスコア法）
• 正規性検定を含む分布分析
• 相関行列（PearsonおよびSpearman）
• データ品質指標（完全性、重複）
• 自動生成された知見

可視化

scripts/visualizer.py を実行してプロットを生成します：

python scripts/visualizer.py sales_data.csv -o ./output

output/eda_visualizations/ に高解像度（300 DPI）のPNGファイルが作成されます：

• 欠損データのヒートマップと棒グラフ
• 分布プロット（KDE付きヒストグラム）
• 外れ値を示す箱ひげ図とバイオリンプロット
• 相関ヒートマップ
• 数値間の関係を示す散布図行列
• カテゴリ別の棒グラフ
• 時系列プロット（日時列が検出された場合）

自動生成された知見

分析JSONの "insights" キーから、生成された知見にアクセスできます：

• データセットのサイズに関する考慮事項
• 欠損データに関する警告（しきい値を超えた場合）
• 特徴量エンジニアリングに役立つ強い相関
• 外れ値率が高いことを示すフラグ
• 変換が必要な歪度
• 重複の検出
• カテゴリの不均衡に関する警告

参考資料

統計的解釈

詳細なガイダンスについては、references/statistical_tests_guide.md を参照してください：

• 正規性検定（Shapiro-Wilk、Anderson-Darling、Kolmogorov-Smirnov）
• 分布の特性（歪度、尖度）
• 相関手法（Pearson、Spearman）
• 外れ値検出（IQR、Zスコア）
• 仮説検定とデータ変換

統計結果を解釈したり、知見を説明したりする際に使用します。

方法論

包括的なガイダンスについては、references/eda_best_practices.md を参照してください：

• 6ステップのEDAプロセスのフレームワーク
• 単変量、二変量、多変量分析のアプローチ
• 可視化と統計分析のガイドライン
• よくある落とし穴と分野固有の考慮事項
• 対象者に応じたコミュニケーション戦略

分析を計画する際や、特定のシナリオに対応する際に使用します。

レポートテンプレート

調査結果の構成には assets/report_template.md を使用します。テンプレートには以下が含まれます：

• エグゼクティブサマリー
• データセットの概要
• データ品質の評価
• 単変量、二変量、多変量分析
• 外れ値分析
• 重要な知見と推奨事項
• 制約事項と付録

分析JSONの結果を各セクションに記入し、Markdownの画像構文を使って可視化を埋め込みます。

例：完全な分析

ユーザーの依頼：「このsales_data.csvファイルを調べてください」

# 1. Run analysis
python scripts/eda_analyzer.py sales_data.csv -o ./output

# 2. Generate visualizations
python scripts/visualizer.py sales_data.csv -o ./output

# 3. Read results
import json
with open('./output/eda_analysis.json') as f:
    results = json.load(f)

# 4. Build report from assets/report_template.md
# - Fill sections with results
# - Embed images: ![Missing Data](./output/eda_visualizations/missing_data.png)
# - Include insights from results['insights']
# - Add recommendations

特殊なケース

データセットサイズに応じた方針

100行未満の場合：サンプルサイズの制約を明記し、ノンパラメトリック手法を使用します

100～100万行の場合：標準的なワークフローを適用します

100万行を超える場合：迅速な調査のため、まずサンプリングを行い、レポートにサンプルサイズを明記し、全データの分析には分散コンピューティングを推奨します

データの特性

高次元（列が50を超える）：まず主要な変数に注目し、相関分析でグループを特定し、PCAまたは特徴量選択を検討します。ガイダンスについては references/eda_best_practices.md を参照してください。

時系列：日時列は自動検出され、時間的な可視化が自動生成されます。トレンド、季節性、パターンを検討します。

不均衡：カテゴリ分析により、不均衡が自動的に検出されます。分布を明確に報告し、必要に応じて層化サンプリングを推奨します。

出力ガイドライン

調査結果は Markdown 形式でまとめます：

• 見出し、表、リストを使って構成します
• 視覚化を埋め込みます：![Description](path/to/image.png)
• 推奨する変換にはコードブロックを含めます
• 重要な知見を強調します

実行につながるレポートを作成します：

• 明確な推奨事項を提示します
• 対応が必要なデータ品質の問題を指摘します
• 次のステップ（モデリング、特徴量エンジニアリング、追加分析）を提案します
• ユーザーの技術レベルに合わせて説明します

エラー処理

未対応の形式：対応形式（CSV、Excel、JSON、Parquet）への変換を依頼します

ファイルサイズが大きすぎる場合：サンプリングまたはチャンク処理を推奨します

データが破損している場合：具体的なエラーを報告し、クリーニング手順を提案して、一部の分析を試みます

空の列：データ品質セクションで指摘し、削除または調査を推奨します

リソース

スクリプト（すべての形式を自動的に処理）：

• scripts/eda_analyzer.py - 統計分析エンジン
• scripts/visualizer.py - 視覚化ジェネレーター

リファレンス（必要に応じて読み込みます）：

• references/statistical_tests_guide.md - 検定の解釈と方法論
• references/eda_best_practices.md - EDA のプロセスとベストプラクティス

テンプレート：

• assets/report_template.md - プロフェッショナルなレポートの構成

重要なポイント

• 完全な分析のため、両方のスクリプトを実行します
• テンプレートを使ってレポートを構成します
• 統計情報だけでなく、実行につながる知見を提示します
• 詳細な解釈にはリファレンスガイドを使用します
• データ品質の問題と制約を記録します
• 次のステップについて明確な推奨事項を示します