senior-data-scientist

シニアデータサイエンティスト

統計モデリング、実験、ML のデプロイ、データに基づく意思決定のための高度なデータサイエンス — A/B テストの設計と分析、特徴量エンジニアリング、モデルのトレーニング／評価、本番環境へのデプロイ、因果推論に対応します。

キーワード

data-science, machine-learning, statistics, a-b-testing, causal-inference, feature-engineering, mlops, experiment-design, model-deployment, python, scikit-learn, pytorch, tensorflow, spark, airflow

主な機能

• 実験の設計と分析 — 仮説の設定、検出力分析とサンプルサイズの算出、ランダム化、SRM のモニタリング、事後的な有意性検定。
• 特徴量エンジニアリング — プロファイリング、候補の生成（時間、集計、相互作用、テキスト）、選択（分散、相関、SHAP/RFE）、リークの検証。
• モデルのトレーニングと評価 — 層化分割／時系列分割、ベースライン、ハイパーパラメーターのチューニング、交差検証、キャリブレーション、公平性チェック。
• 本番環境へのデプロイ — コンテナ化したサービング、入力／出力のドリフト監視（KS/PSI）、カナリアリリース、レイテンシ／エラーの SLA。
• 因果推論 — 傾向スコアマッチング、差の差法、回帰不連続デザイン、操作変数法、仮定／プラセボの検定。

使用する場面

• A/B テストを設計または分析するとき。
• 特徴量エンジニアリングのパイプラインを構築するとき。
• ML モデルをトレーニング、評価、またはデプロイするとき。
• 観察データから処置効果を推定するとき。

最初に確認すること

分析やパイプラインを実行する前に、次の入力を確認してください。不明または曖昧な項目があれば、推測せずに質問してください。

• タスク — A/B テストの設計／特徴量エンジニアリング／モデル評価／因果推論（スクリプトとワークフローを決定します）
• データセットと目的変数 — モデリングまたは測定の対象（特徴量の生成とリークの検証に影響します）
• 意思決定指標と最小効果 — 指標と、検出する価値のある最小の効果（検出力分析とサンプルサイズに影響します）

質問のルール：出力を最も左右する 2～3 項目だけを質問してください。ユーザーが「とりあえず草案を作って」と言った場合は作業を進め、成果物の冒頭に前提を列挙してください。

ツール

スクリプト	目的
scripts/experiment_designer.py	A/B テストの設計、検出力分析、サンプルサイズの算出
scripts/feature_engineering_pipeline.py	特徴量の自動生成、相関分析、特徴量選択
scripts/model_evaluation_suite.py	モデル比較、交差検証、デプロイ準備状況のチェック

仮説検定、因果推論、回帰分析には、scipy/statsmodels をインラインで使用してください。references/statistical_methods_advanced.md を参照してください。

参考資料

タスクに合った参考資料を読み込んでください。このファイルは簡潔に保ち、必要に応じて詳細を参照します。

• references/ds-workflows.md — クイックスタートコマンド、技術スタック、Python スニペット付きの 5 つのエンドツーエンドのワークフロー（A/B テスト、特徴量パイプライン、トレーニング／評価、デプロイ、因果推論）、パフォーマンス目標、一般的なコマンド。データサイエンスのタスクを実行する際に参照してください。
• references/ds-operations.md — トラブルシューティングの表、成功基準、各スクリプトの CLI フラグの完全なリファレンス。問題の診断やツールの実行時に参照してください。
• references/statistical_methods_advanced.md — 高度な統計手法のリファレンス（仮説検定、因果推論、回帰）。統計の詳細を確認するときに参照してください。
• references/experiment_design_frameworks.md — 実験設計のフレームワークと検出力分析の基礎。厳密な実験を設計するときに参照してください。
• references/feature_engineering_patterns.md — 特徴量エンジニアリングのパターンと選択手法。特徴量を構築するときに参照してください。

対象範囲と制限事項

このスキルの対象範囲：

• 検出力分析、ランダム化、事後分析を含む、エンドツーエンドの実験設計
• プロファイリング、生成、選択、検証を含む、特徴量エンジニアリングのパイプライン
• 交差検証、キャリブレーション、公平性チェックを含む、モデル学習の評価
• モニタリング、ドリフト検出、カナリアリリースを含む、本番環境へのモデルデプロイ

このスキルの対象外：

• データエンジニアリングのインフラストラクチャ（ETL オーケストレーション、パイプラインのスケジューリング、データレイク管理）-- senior-data-engineer を参照
• ディープラーニングのモデルアーキテクチャ設計と大規模な学習（分散 GPU 学習、カスタムレイヤー）-- senior-ml-engineer を参照
• プロンプトエンジニアリング、RAG システム、LLM のファインチューニングのワークフロー -- senior-prompt-engineer を参照
• コンピュータービジョンのパイプライン（物体検出、セグメンテーション、動画処理）-- senior-computer-vision を参照

統合ポイント

スキル	統合	データフロー
senior-data-engineer	特徴量パイプラインは ETL 出力からデータを取り込み、データ品質検証のパターンを共有します	生データストア --> 特徴量エンジニアリングのパイプライン --> フィーチャーストア
senior-ml-engineer	学習済みモデルを MLOps デプロイに引き渡し、モデルレジストリとサービング設定を共有します	評価済みモデルアーティファクト --> デプロイパイプライン --> 本番サービング
senior-prompt-engineer	LLM の埋め込み特徴量を ML パイプラインに取り込み、実験フレームワークをプロンプトの A/B テストに適用します	LLM の埋め込み --> 特徴ベクトル；実験設計 --> プロンプト評価
senior-architect	モデルサービングのアーキテクチャをスケーラビリティの観点からレビューし、データプラットフォームの設計を学習インフラストラクチャと整合させます	アーキテクチャ仕様 --> デプロイトポロジ --> モニタリングダッシュボード
senior-backend	モデル推論エンドポイントをバックエンドサービスに統合し、予測リクエスト用の API コントラクトを定義します	REST/gRPC モデル API --> バックエンドサービスレイヤー --> クライアントアプリケーション
senior-devops	モデル再学習のトリガーに合わせて CI/CD パイプラインを拡張し、コンテナ化されたモデルイメージを Infrastructure as Code でデプロイします	Docker イメージ --> Kubernetes マニフェスト --> 本番クラスター