programmatic-eda

使用するタイミング

• 新しいデータセットを受け取り、分析前にその構造と品質を把握する必要がある場合
• 分析結果の数値に違和感があり、まず基礎データを確認したい場合
• ステークホルダーから「このデータは信頼できますか？」または「このテーブルには何が含まれていますか？」と質問された場合
• モデルや統計的検定を実行する前に、データ品質を確認する必要がある場合

プロセス

1. 読み込みと概要の確認 — scripts/data_overview.py を実行して、行数、データ型、メモリ使用量、サンプルを確認します。粒度（1行が何を表すか）を確認します。
2. NULL のプロファイリング — scripts/null_profiler.py を実行し、出力を references/quality_thresholds.md のしきい値と比較して、上限を超える列にフラグを立てます。
3. 外れ値の検出 — 数値列に対して scripts/outlier_detector.py（IQR + z スコア）を実行し、フラグが立った値を記録して、それが実際のシグナルなのかデータエラーなのかを判断します。
4. 分布の要約 — scripts/distribution_summary.py を実行して、各数値列の記述統計量と単変量ヒストグラムを確認します。
5. 相関の調査 — scripts/correlation_explorer.py を実行し、|r| > 0.8 のペアに、多重共線性または冗長性の可能性があるとしてフラグを立てます。
6. EDA チェックリストの確認 — references/eda_checklist.md に沿って各項目を確認し、データセットのプロファイリング完了を宣言する前に、すべての項目を確認します。
7. 調査結果の記述 — assets/eda_report_template.md にプロファイリング結果をすべて記入し、主な問題点を assets/findings_summary.md に要約します。

パターン別のレシピ（例：polars と pandas の対応、巨大なファイルを分割して読み込む方法）については、references/pandas_polars_recipes.md を参照してください。

スキルに必要な入力

• 必須：データセットのパス（CSV／Parquet／Excel）、または現在のスコープ内にある DataFrame
• 必須：ビジネスコンテキスト — 1行が何を表すか
• 任意：品質しきい値の上書き設定（デフォルト値は references/quality_thresholds.md に記載）
• 任意：スキップする列（PII、バイナリデータ、高カーディナリティの ID）

出力

• assets/eda_report_template.md（記入済み） — 列ごとの統計量を含む、プロファイリングの完全なレポート
• assets/findings_summary.md（記入済み） — 主な品質問題 3～5 件と推奨される次のステップ
• スクリプトのコンソール出力／プロット（インタラクティブな確認用）