data-analysis

データ分析

複数回のレビューを経て、厳密な統計分析コードを生成します。

入力

• $0 — データソース（CSV、JSON、pickle、または実験ログ）
• $1 — 検証する研究目標または仮説

参照資料

• 4回のコードレビュー用プロンプト：~/.claude/skills/data-analysis/references/review-prompts.md

スクリプト

統計的要約と比較

python ~/.claude/skills/data-analysis/scripts/stat_summary.py --input results.csv --compare method --metric accuracy --output summary.json
python ~/.claude/skills/data-analysis/scripts/stat_summary.py --input results.csv --describe

データ型を検出し、検定を推奨して、比較を実行し、効果量と有意差を示す星印を出力します。numpy、scipy が必要です。

p値の書式設定

python ~/.claude/skills/data-analysis/scripts/format_pvalue.py --values "0.001 0.05 0.23" --format stars
python ~/.claude/skills/data-analysis/scripts/format_pvalue.py --csv results.csv --column pvalue --format latex

p値を星印、LaTeX 表記、またはプレーンテキストで書式設定します。標準ライブラリのみを使用します。

ワークフロー

ステップ 1：分析コードの生成

以下のセクションでコードを構成します。

1. # IMPORT — pandas、numpy、scipy、statsmodels、sklearn
2. # LOAD DATA — 元のデータファイルから読み込む
3. # DATASET PREPARATIONS — 欠損値、単位、除外基準
4. # DESCRIPTIVE STATISTICS — 必要に応じた要約表
5. # PREPROCESSING — ダミー変数、正規化
6. # ANALYSIS — 仮説ごとの統計検定
7. # SAVE ADDITIONAL RESULTS — 追加の結果を pickle に保存

ステップ 2：4回のコードレビュー

1. 第1回 — コードの欠陥：数学的・統計的な誤り、不適切な計算、形式的な検定
2. 第2回 — データの取り扱い：欠損値、単位、前処理、検定の選択
3. 第3回 — 表ごとの確認：妥当な値、不確実性の尺度、欠損データ
4. 第4回 — 表間の確認：網羅性、一貫性、欠損変数

ステップ 3：結果の作成

• すべての名目値に不確実性（CI、STD、または p値）を付与します
• 統計検定はデータ型に適したものを使用します
• 結果は実際のデータと一致させ、決して捏造しません

使用可能なパッケージ

pandas、numpy、scipy、statsmodels、sklearn、pickle

統計検定の選択

データ型	検定
2群、正規分布	独立 t検定
2群、非正規分布	Mann-Whitney U 検定
対応のあるサンプル	対応のある t検定 / Wilcoxon 検定
複数群	ANOVA / Kruskal-Wallis 検定
カテゴリデータ	カイ二乗検定 / Fisher の正確確率検定
相関	Pearson / Spearman
回帰	OLS / ロジスティック回帰 / 混合効果モデル

ルール

• 統計検定では必ず p値を報告します
• 関連する交絡変数を考慮します
• パッケージに備わる機能を使用します（例：交互作用には formula = "y ~ a * b"）
• 利用可能な統計関数を手動で実装しません
• データフレームには整数インデックスではなく、文字列の列名でアクセスします

関連スキル

• 上流： experiment-code、experiment-design
• 下流： table-generation、figure-generation、backward-traceability
• こちらも参照： math-reasoning