data-science

数据科学专家

用于分析、机器学习和数据驱动决策的综合数据科学框架。

数据战略

数据成熟度模型

级别	名称	特征
1	临时	手动、不一致、各自为政
2	机会型	部分自动化、单点解决方案
3	系统化	流程已定义，治理开始形成
4	差异化	数据驱动决策、高级分析
5	变革型	AI 优先、竞争优势

分析价值链

DATA → INFORMATION → INSIGHT → ACTION → VALUE

PROGRESSION:
Descriptive: What happened?
Diagnostic: Why did it happen?
Predictive: What will happen?
Prescriptive: What should we do?
Autonomous: Self-optimizing systems

统计分析

描述性统计

CENTRAL TENDENCY:
- Mean: Sum / Count (sensitive to outliers)
- Median: Middle value (robust to outliers)
- Mode: Most frequent value

DISPERSION:
- Range: Max - Min
- Variance: Average squared deviation
- Standard Deviation: √Variance
- IQR: Q3 - Q1 (robust)

DISTRIBUTION SHAPE:
- Skewness: Asymmetry (0 = symmetric)
- Kurtosis: Tail heaviness (3 = normal)

有关详细的推断统计和假设检验，请参阅统计方法参考。

机器学习

算法选择

任务	算法	适用场景
分类	Logistic Regression、Random Forest、XGBoost、Neural Networks	分类结果
回归	Linear Regression、Ridge/Lasso、Random Forest、XGBoost	连续型结果
聚类	K-Means、Hierarchical、DBSCAN	发现群组
降维	PCA、t-SNE、UMAP	特征降维、可视化
异常检测	Isolation Forest、One-Class SVM、Autoencoders	异常值检测
时间序列	ARIMA、Prophet、LSTM	序列数据
推荐	Collaborative Filtering、Content-Based、Matrix Factorization	个性化
NLP	Transformers、BERT、GPT	文本理解／生成

有关详细的 ML 工作流、特征工程和模型监控，请参阅ML 工作流参考。

数据治理

数据治理框架

GOVERNANCE PILLARS:

POLICIES:
- Data ownership
- Data classification
- Data retention
- Data access
- Data quality standards

ROLES:
- Data Owner: Accountable for data domain
- Data Steward: Day-to-day quality management
- Data Custodian: Technical implementation
- Data Consumer: End user

PROCESSES:
- Data cataloging
- Metadata management
- Data lineage
- Issue resolution
- Change management

METRICS:
- Data quality scores
- Policy compliance
- Data access requests
- Issue resolution time

数据质量维度

维度	定义	衡量方式
准确性	对现实的正确呈现	与源数据匹配的记录百分比
完整性	包含所有必需数据	非空值百分比
一致性	在各系统间保持一致	跨数据源匹配百分比
及时性	在需要时可用	延迟、新鲜度
有效性	符合格式／规则	通过验证的百分比
唯一性	不存在不必要的重复项	重复率

商业智能

BI 架构

ARCHITECTURE LAYERS:

DATA SOURCES:
- Operational systems
- External data
- IoT/streaming

DATA INTEGRATION:
- ETL/ELT pipelines
- Data lakes
- Data warehouses

SEMANTIC LAYER:
- Business definitions
- Calculated metrics
- Hierarchies
- Relationships

PRESENTATION:
- Dashboards
- Reports
- Ad-hoc analysis
- Embedded analytics

仪表盘设计原则

DESIGN PRINCIPLES:

PURPOSE:
- One clear objective per dashboard
- Know your audience
- Enable decisions

LAYOUT:
- Most important top-left
- Related items grouped
- Progressive disclosure
- Whitespace for clarity

VISUALS:
- Right chart for data type
- Consistent formatting
- Minimal decoration
- Color with purpose

INTERACTIVITY:
- Filters for exploration
- Drill-down capability
- Cross-filtering
- Tooltip details

指标设计

METRIC DEFINITION TEMPLATE:

NAME: [Metric name]
DEFINITION: [Clear business definition]
FORMULA: [Precise calculation]
OWNER: [Responsible person]
DATA SOURCE: [Where it comes from]
GRAIN: [Level of detail]
FREQUENCY: [Update cadence]
DIMENSIONS: [Slicing attributes]
TARGETS: [Goals/benchmarks]
RELATED: [Related metrics]

预测建模

用例框架

用例	业务应用	方法
流失预测	客户留存计划	分类
需求预测	库存规划	时间序列
潜在客户评分	销售优先级排序	分类
价格优化	收益管理	回归/RL
欺诈检测	风险缓解	异常检测
推荐	个性化	协同过滤
客户细分	营销定向	聚类
客户终身价值	客户投资	回归

数据伦理与隐私

AI 伦理框架

PRINCIPLES:

FAIRNESS:
- No discriminatory outcomes
- Bias testing across groups
- Regular auditing

ACCOUNTABILITY:
- Clear ownership
- Decision audit trails
- Escalation process

TRANSPARENCY:
- Explainable decisions
- Clear documentation
- User communication

PRIVACY:
- Data minimization
- Consent management
- Security controls

偏差检测

BIAS TYPES:

HISTORICAL: Reflects past discrimination
REPRESENTATION: Training data not representative
MEASUREMENT: Proxy variables correlate with protected attributes
AGGREGATION: Single model for diverse populations
EVALUATION: Inappropriate benchmarks

FAIRNESS METRICS:
- Demographic Parity: Equal positive rates
- Equalized Odds: Equal TPR and FPR
- Individual Fairness: Similar inputs, similar outputs
- Calibration: Equal accuracy across groups

分析团队结构

团队角色

角色	工作重点	技能
数据工程师	数据管道、基础设施	SQL、Python、Spark、Cloud
数据分析师	报告、临时分析	SQL、BI 工具、统计学
数据科学家	建模、ML	Python/R、ML、统计学
ML 工程师	模型部署	MLOps、软件工程
分析工程师	数据建模	dbt、SQL、数据建模

运营模式

模式	描述	最适合
集中式	单一分析团队	一致性、效率
分散式	嵌入业务部门	与业务保持一致
中心辐射式	中央卓越中心（CoE）+ 嵌入式团队	兼顾两者
联邦式	共享平台、领域团队	在自主的同时实现规模化

参考资料

• ML 管道参考 - ML 管道、特征工程和模型开发详解
• 统计方法参考 - 推断统计、假设检验和评估指标

另请参阅

• 产品管理
• 业务战略
• 财务