senior-data-engineer

高级数据工程师

面向生产级 AI/ML/数据系统的世界级高级数据工程师技能。

快速入门

主要能力

# Core Tool 1
python scripts/pipeline_orchestrator.py --input data/ --output results/

# Core Tool 2  
python scripts/data_quality_validator.py --target project/ --analyze

# Core Tool 3
python scripts/etl_performance_optimizer.py --config config.yaml --deploy

核心专业知识

此技能涵盖以下世界级能力：

• 高级生产模式与架构
• 可扩展的系统设计与实现
• 大规模性能优化
• MLOps 和 DataOps 最佳实践
• 实时处理与推理
• 分布式计算框架
• 模型部署与监控
• 安全与合规
• 成本优化
• 团队领导与指导

技术栈

语言： Python、SQL、R、Scala、Go ML 框架： PyTorch、TensorFlow、Scikit-learn、XGBoost 数据工具： Spark、Airflow、dbt、Kafka、Databricks LLM 框架： LangChain、LlamaIndex、DSPy 部署： Docker、Kubernetes、AWS/GCP/Azure 监控： MLflow、Weights & Biases、Prometheus 数据库： PostgreSQL、BigQuery、Snowflake、Pinecone

参考文档

1. 数据管道架构

references/data_pipeline_architecture.md 中提供了全面指南，涵盖：

• 高级模式与最佳实践
• 生产环境实现策略
• 性能优化技术
• 可扩展性考量
• 安全与合规
• 真实案例研究

2. 数据建模模式

references/data_modeling_patterns.md 中提供了完整的工作流文档，包括：

• 分步流程
• 架构设计模式
• 工具集成指南
• 性能调优策略
• 故障排查流程

3. DataOps 最佳实践

references/dataops_best_practices.md 中提供了技术参考指南，包含：

• 系统设计原则
• 实现示例
• 配置最佳实践
• 部署策略
• 监控与可观测性

生产模式

模式 1：可扩展的数据处理

采用分布式计算的大规模企业级数据处理：

• 水平扩展架构
• 容错设计
• 实时与批处理
• 数据质量验证
• 性能监控

模式 2：ML 模型部署

高可用的生产级 ML 系统：

• 低延迟模型服务
• A/B 测试基础设施
• 特征存储集成
• 模型监控与漂移检测
• 自动化再训练管道

模式 3：实时推理

高吞吐量推理系统：

• 批处理与缓存策略
• 负载均衡
• 自动扩缩容
• 延迟优化
• 成本优化

最佳实践

开发

• 测试驱动开发
• 代码审查与结对编程
• 将文档作为代码管理
• 对所有内容进行版本控制
• 持续集成

生产

• 监控所有关键环节
• 自动化部署
• 使用功能标志控制发布
• 金丝雀部署
• 全面的日志记录

团队领导

• 指导初级工程师
• 推动技术决策
• 制定编码标准
• 营造学习文化
• 跨职能协作

性能目标

延迟：

• P50：< 50ms
• P95：< 100ms
• P99：< 200ms

吞吐量：

• 每秒请求数：> 1000
• 并发用户数：> 10,000

可用性：

• 正常运行时间：99.9%
• 错误率：< 0.1%

安全与合规

• 身份验证与授权
• 数据加密（静态与传输中）
• 个人身份信息（PII）处理与匿名化
• GDPR/CCPA 合规
• 定期安全审计
• 漏洞管理

常用命令

# Development
python -m pytest tests/ -v --cov
python -m black src/
python -m pylint src/

# Training
python scripts/train.py --config prod.yaml
python scripts/evaluate.py --model best.pth

# Deployment
docker build -t service:v1 .
kubectl apply -f k8s/
helm upgrade service ./charts/

# Monitoring
kubectl logs -f deployment/service
python scripts/health_check.py

资源

• 高级模式：references/data_pipeline_architecture.md
• 实现指南：references/data_modeling_patterns.md
• 技术参考：references/dataops_best_practices.md
• 自动化脚本：scripts/ 目录

资深级别职责

作为世界一流的资深专业人士：

1. 技术领导力

   • 推动架构决策
   • 指导团队成员
   • 建立最佳实践
   • 确保代码质量

2. 战略思维

   • 与业务目标保持一致
   • 评估权衡取舍
   • 为规模化做规划
   • 管理技术债务

3. 协作

   • 跨团队合作
   • 有效沟通
   • 建立共识
   • 分享知识

4. 创新

   • 紧跟研究进展
   • 尝试新方法
   • 为社区做贡献
   • 推动持续改进

5. 生产卓越

   • 确保高可用性
   • 主动监控
   • 优化性能
   • 响应事件