data-science

データサイエンスのエキスパート

分析、機械学習、データに基づく意思決定のための包括的なデータサイエンスフレームワークです。

データ戦略

データ成熟度モデル

レベル	名称	特徴
1	アドホック	手作業、一貫性がない、サイロ化
2	機会主義的	一部自動化、個別のソリューション
3	体系的	プロセスが定義され、ガバナンスが整備されつつある
4	差別化	データに基づく意思決定、高度な分析
5	変革的	AI ファースト、競争優位性

分析のバリューチェーン

DATA → INFORMATION → INSIGHT → ACTION → VALUE

PROGRESSION:
Descriptive: What happened?
Diagnostic: Why did it happen?
Predictive: What will happen?
Prescriptive: What should we do?
Autonomous: Self-optimizing systems

統計分析

記述統計

CENTRAL TENDENCY:
- Mean: Sum / Count (sensitive to outliers)
- Median: Middle value (robust to outliers)
- Mode: Most frequent value

DISPERSION:
- Range: Max - Min
- Variance: Average squared deviation
- Standard Deviation: √Variance
- IQR: Q3 - Q1 (robust)

DISTRIBUTION SHAPE:
- Skewness: Asymmetry (0 = symmetric)
- Kurtosis: Tail heaviness (3 = normal)

詳細な推測統計と仮説検定については、統計手法リファレンスを参照してください。

機械学習

アルゴリズムの選択

タスク	アルゴリズム	使用する場面
分類	ロジスティック回帰、ランダムフォレスト、XGBoost、ニューラルネットワーク	カテゴリ別の結果
回帰	線形回帰、リッジ／ラッソ、ランダムフォレスト、XGBoost	連続値の結果
クラスタリング	K-Means、階層型、DBSCAN	グループの発見
次元削減	PCA、t-SNE、UMAP	特徴量の削減、可視化
異常検知	Isolation Forest、One-Class SVM、オートエンコーダー	外れ値の検出
時系列	ARIMA、Prophet、LSTM	シーケンシャルデータ
レコメンデーション	協調フィルタリング、コンテンツベース、行列分解	パーソナライズ
NLP	Transformers、BERT、GPT	テキストの理解／生成

詳細な ML パイプライン、特徴量エンジニアリング、モデルの監視については、ML パイプラインリファレンスを参照してください。

データガバナンス

データガバナンスフレームワーク

GOVERNANCE PILLARS:

POLICIES:
- Data ownership
- Data classification
- Data retention
- Data access
- Data quality standards

ROLES:
- Data Owner: Accountable for data domain
- Data Steward: Day-to-day quality management
- Data Custodian: Technical implementation
- Data Consumer: End user

PROCESSES:
- Data cataloging
- Metadata management
- Data lineage
- Issue resolution
- Change management

METRICS:
- Data quality scores
- Policy compliance
- Data access requests
- Issue resolution time

データ品質の次元

次元	定義	測定
正確性	現実を正しく表現していること	ソースと一致するレコードの割合
完全性	必要なデータがすべて存在すること	NULL でない値の割合
一貫性	システム間で同じであること	ソース間で一致する割合
適時性	必要なときに利用できること	レイテンシー、鮮度
妥当性	形式／ルールに準拠していること	検証に合格した割合
一意性	不要な重複がないこと	重複率

ビジネスインテリジェンス

BI アーキテクチャ

ARCHITECTURE LAYERS:

DATA SOURCES:
- Operational systems
- External data
- IoT/streaming

DATA INTEGRATION:
- ETL/ELT pipelines
- Data lakes
- Data warehouses

SEMANTIC LAYER:
- Business definitions
- Calculated metrics
- Hierarchies
- Relationships

PRESENTATION:
- Dashboards
- Reports
- Ad-hoc analysis
- Embedded analytics

ダッシュボード設計の原則

DESIGN PRINCIPLES:

PURPOSE:
- One clear objective per dashboard
- Know your audience
- Enable decisions

LAYOUT:
- Most important top-left
- Related items grouped
- Progressive disclosure
- Whitespace for clarity

VISUALS:
- Right chart for data type
- Consistent formatting
- Minimal decoration
- Color with purpose

INTERACTIVITY:
- Filters for exploration
- Drill-down capability
- Cross-filtering
- Tooltip details

指標の設計

METRIC DEFINITION TEMPLATE:

NAME: [Metric name]
DEFINITION: [Clear business definition]
FORMULA: [Precise calculation]
OWNER: [Responsible person]
DATA SOURCE: [Where it comes from]
GRAIN: [Level of detail]
FREQUENCY: [Update cadence]
DIMENSIONS: [Slicing attributes]
TARGETS: [Goals/benchmarks]
RELATED: [Related metrics]

予測モデリング

ユースケースのフレームワーク

ユースケース	ビジネスでの活用	アプローチ
解約予測	顧客維持プログラム	分類
需要予測	在庫計画	時系列
リードスコアリング	営業の優先順位付け	分類
価格最適化	収益管理	回帰／RL
不正検出	リスク軽減	異常検出
レコメンデーション	パーソナライズ	協調フィルタリング
顧客セグメンテーション	マーケティングのターゲティング	クラスタリング
顧客生涯価値	顧客への投資	回帰

データ倫理とプライバシー

倫理的なAIのフレームワーク

PRINCIPLES:

FAIRNESS:
- No discriminatory outcomes
- Bias testing across groups
- Regular auditing

ACCOUNTABILITY:
- Clear ownership
- Decision audit trails
- Escalation process

TRANSPARENCY:
- Explainable decisions
- Clear documentation
- User communication

PRIVACY:
- Data minimization
- Consent management
- Security controls

バイアスの検出

BIAS TYPES:

HISTORICAL: Reflects past discrimination
REPRESENTATION: Training data not representative
MEASUREMENT: Proxy variables correlate with protected attributes
AGGREGATION: Single model for diverse populations
EVALUATION: Inappropriate benchmarks

FAIRNESS METRICS:
- Demographic Parity: Equal positive rates
- Equalized Odds: Equal TPR and FPR
- Individual Fairness: Similar inputs, similar outputs
- Calibration: Equal accuracy across groups

アナリティクスチームの構成

チームの役割

役割	担当領域	スキル
データエンジニア	パイプライン、インフラ	SQL、Python、Spark、クラウド
データアナリスト	レポート作成、アドホック分析	SQL、BIツール、統計
データサイエンティスト	モデリング、ML	Python/R、ML、統計
MLエンジニア	モデルのデプロイ	MLOps、ソフトウェアエンジニアリング
アナリティクスエンジニア	データモデリング	dbt、SQL、データモデリング

運用モデル

モデル	説明	最適な用途
集中型	単一のアナリティクスチーム	一貫性、効率性
分散型	事業部門に組み込まれたチーム	ビジネスとの連携
ハブ＆スポーク型	中央のCoEと各部門に組み込まれたチーム	両者のバランス
連合型	共有プラットフォーム、ドメインチーム	自律性を保ちながら拡張

参考資料

• MLパイプラインのリファレンス - MLパイプライン、特徴量エンジニアリング、モデル開発の詳細
• 統計手法のリファレンス - 推測統計、仮説検定、評価指標

関連項目

• プロダクトマネジメント
• ビジネス戦略
• ファイナンス