data-scientist-analyst

データサイエンティストアナリスト

概要

このスキルは、取得した生データを信頼性の高い科学的知見（インサイト）に変換する役割を担います。エージェントは、データのクリーニング（前処理）、推測統計検定（回帰、PLS、ANOVA）、予測モデリング（機械学習）を行う Python スクリプトを作成し、パフォーマンス指標の結果を専門的に可視化します（Matplotlib/Seaborn）。

依存関係

• データ分析と機械学習のために、Python の標準ライブラリとサードパーティ製ライブラリを使用します（Pandas、NumPy、SciPy、Statsmodels、Scikit-Learn、Matplotlib、Seaborn、XGBoost、LightGBM など）。
• エージェントはターミナル経由で Python の依存関係をプログラムからインストールできます。

クイックスタート

使用例： 「data-scientist-analyst スキルを使って、株式データ_bank.csv の PLS 回帰分析を行い、特徴量の重要度を可視化してください。」

データ分析と機械学習のルール（絶対遵守）

1. 厳密なデータ前処理：モデルの学習前に、必ず欠損値（missing values）と外れ値（outliers）を確認し、特徴量を標準化／正規化してください。
2. 統計手法：
   • 変数間の関係を分析する場合：重回帰分析（線形／ロジスティック）または Partial Least Squares（PLS）を行ってください。
   • 有意性を検証するため、p 値、R 二乗、t 統計量、F 統計量などの重要な統計値を必ず含めてください。
3. 機械学習のベストプラクティス：
   • データリーク（data leakage）を防ぐため、データセットを厳密に分割してください（train-test split）。
   • モデルの頑健性を測定するため、交差検証（cross-validation）（例：K-Fold）を使用してください。
   • パフォーマンスを比較するため、少なくとも異なる 2 つのアルゴリズムを比較してください（例：Linear Regression 対 Random Forest）。
4. プロフェッショナルな可視化：
   • 生成するすべてのプロット／グラフには、X 軸と Y 軸のラベル、凡例、タイトルを必ず付け、洗練された配色（例：seaborn-v0_8 または coolwarm パレット）を使用してください。
   • 可視化結果は、プロジェクトディレクトリ内に高品質な .png または .pdf 形式で保存してください。

ワークフローの実行

1. データセットの読み込み：プロジェクト内の生データファイル（.csv、.json、.xlsx など）を読み込みます。
2. 決定論的な統計分析の実行（必須）：カスタム分析を記述する前に、統計ヘルパースクリプトを実行して、ハルシネーションのリスクがない事実に基づく数値の要約を生成します（このスキルのインストールディレクトリにある run_stat_analysis.py の絶対パスを使用してください）。

python "<PATH_KE_SKILL>/scripts/run_stat_analysis.py" --input dataset.csv --output stat_report.json

3. ハードウェア負荷の事前チェック（大規模なデータセットのトレーニングに推奨）：負荷の大きい ML モデル／ディープラーニングモデルをトレーニングする前に、hardware-workload-estimator スキルを使って、ローカルの CPU、システム RAM、GPU VRAM を確認します。推定時間が 20 分を超える場合、または OOM のリスクがある場合は、Chrome DevTools MCP 経由で Google Colab に実行を移行することを提案します。
4. データ探索（EDA）：stat_report.json の正確な数値を使って、データセットの特性（平均、標準偏差、中央値、欠損値の件数）を分析します。
5. データ分析・モデリングスクリプトの作成（3 段階の実行階層）：
   • Tier 1（Python ネイティブスタック ― 最優先の推奨）：Python（pandas、statsmodels、scipy、pyreadstat、scikit-learn）を使用します。Python は SPSS（.sav）、Stata（.dta）、Excel（.xlsx）のファイルを ネイティブ に読み込み、商用ソフトウェアのライセンスなしで 100% 正確な統計計算を実行できます。
   • Tier 2（ヘッドレスバッチモード ― SPSS/EViews/Stata/Excel）：ユーザーが特定のソフトウェアを必須としている場合は、computer-use スキルを呼び出して、CLI 経由でバックグラウンドにてバッチスクリプト（.sps、.prg、.do）を実行します。
   • Tier 3（GUI のコンピュータ操作によるビジョンフォールバック）：ビジュアルな対話型インターフェイスの操作をシミュレートする必要がある場合に使用します。
6. 実行と評価：分析スクリプトを実行し、パフォーマンス指標（R2、F1-Score、RMSE、p-value）を評価して、エラーがないことを確認します。
7. 研究結果の解釈と可視化：モデリング結果の数値が機能的にどのような意味を持つかを説明する科学的な文章で、学術的な結論を提示します。また、保存した可視化グラフファイルへの直接リンクを示します。

よくある間違い

• データリーク：トレーニングデータとテストデータに分割する前に、データセット全体にスケーリング／正規化を適用すること。
• 過学習：独立したテストデータでモデルの性能を検証せずに、高いトレーニング精度を報告すること。
• 仮定を確認しない統計検定：データの正規性を事前に確認せずに、パラメトリック検定（T 検定や ANOVA など）を実施すること。