mcpField
S
senior-data-scientist

senior-data-scientist

github.com/davila7数据与数据库33.0k3.2k 次安装1 天前更新
代码仓库

关于 senior-data-scientist

面向构建生产级 AI、ML 和数据系统的数据科学技能，适用于处理实验、特征工程、评估和部署的从业者。它包含脚本、参考指南，以及涵盖可扩展处理、监控和安全的实践。

主要功能

  1. 01实验设计脚本
  2. 02特征工程流水线
  3. 03模型评估套件
  4. 04统计与工作流参考指南
  5. 05生产级 ML 和数据系统实践

适用场景

  1. 01设计数据科学实验
  2. 02分析特征工程流程
  3. 03部署前评估模型
  4. 04规划可扩展推理与监控

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/davila7/claude-code-templates --skill senior-data-scientist

安装后在 Claude Code 中输入/senior-data-scientist确认已加载。

包含的文件

除 SKILL.md 外，安装时一起下载的参考资料和脚本。

references/
experiment_design_frameworks.md
feature_engineering_patterns.md
statistical_methods_advanced.md
scripts/
experiment_designer.py
feature_engineering_pipeline.py
model_evaluation_suite.py

详细介绍

资深数据科学家

面向生产级 AI/ML/Data 系统的世界级资深数据科学家技能。

快速开始

主要能力
# Core Tool 1
python scripts/experiment_designer.py --input data/ --output results/

# Core Tool 2  
python scripts/feature_engineering_pipeline.py --target project/ --analyze

# Core Tool 3
python scripts/model_evaluation_suite.py --config config.yaml --deploy

核心专长

本技能涵盖以下领域的世界级能力：

  • 高级生产模式与架构
  • 可扩展系统设计与实现
  • 大规模性能优化
  • MLOps 与 DataOps 最佳实践
  • 实时处理与推理
  • 分布式计算框架
  • 模型部署与监控
  • 安全与合规
  • 成本优化
  • 团队领导与指导

技术栈

语言： Python、SQL、R、Scala、Go ML 框架： PyTorch、TensorFlow、Scikit-learn、XGBoost 数据工具： Spark、Airflow、dbt、Kafka、Databricks 大模型框架： LangChain、LlamaIndex、DSPy 部署： Docker、Kubernetes、AWS/GCP/Azure 监控： MLflow、Weights & Biases、Prometheus 数据库： PostgreSQL、BigQuery、Snowflake、Pinecone

参考文档

1. 高级统计方法

references/statistical_methods_advanced.md 中提供了全面指南，涵盖：

  • 高级模式与最佳实践
  • 生产实现策略
  • 性能优化技术
  • 可扩展性考量
  • 安全与合规
  • 真实案例研究
2. 实验设计框架

references/experiment_design_frameworks.md 中提供了完整工作流文档，包括：

  • 分步流程
  • 架构设计模式
  • 工具集成指南
  • 性能调优策略
  • 故障排查流程
3. 特征工程模式

references/feature_engineering_patterns.md 中的技术参考指南，包含：

  • 系统设计原则
  • 实现示例
  • 配置最佳实践
  • 部署策略
  • 监控与可观测性

生产模式

模式 1：可扩展数据处理

基于分布式计算的企业级数据处理：

  • 水平扩展架构
  • 容错设计
  • 实时与批处理
  • 数据质量验证
  • 性能监控
模式 2：ML 模型部署

高可用性的生产 ML 系统：

  • 低延迟模型服务
  • A/B 测试基础设施
  • 特征存储集成
  • 模型监控与漂移检测
  • 自动化重训练流水线
模式 3：实时推理

高吞吐量推理系统：

  • 批处理与缓存策略
  • 负载均衡
  • 自动扩展
  • 延迟优化
  • 成本优化

最佳实践

开发
  • 测试驱动开发
  • 代码审查与结对编程
  • 文档即代码
  • 一切皆版本控制
  • 持续集成
生产
  • 监控一切关键指标
  • 自动化部署
  • 使用功能开关发布
  • 金丝雀部署
  • 全面日志记录
团队领导
  • 指导初级工程师
  • 推动技术决策
  • 建立编码规范
  • 培养学习文化
  • 跨职能协作

性能目标

延迟：

  • P50：< 50ms
  • P95：< 100ms
  • P99：< 200ms

吞吐量：

  • 每秒请求数：> 1000
  • 并发用户数：> 10,000

可用性：

  • 正常运行时间：99.9%
  • 错误率：< 0.1%

安全与合规

  • 身份认证与授权
  • 数据加密（静态与传输中）
  • PII 处理与匿名化
  • GDPR/CCPA 合规
  • 定期安全审计
  • 漏洞管理

常用命令

# Development
python -m pytest tests/ -v --cov
python -m black src/
python -m pylint src/

# Training
python scripts/train.py --config prod.yaml
python scripts/evaluate.py --model best.pth

# Deployment
docker build -t service:v1 .
kubectl apply -f k8s/
helm upgrade service ./charts/

# Monitoring
kubectl logs -f deployment/service
python scripts/health_check.py

资源

  • 高级模式：references/statistical_methods_advanced.md
  • 实现指南：references/experiment_design_frameworks.md
  • 技术参考：references/feature_engineering_patterns.md
  • 自动化脚本：scripts/ 目录

资深级别职责

作为世界一流的资深专业人士：

  1. 技术领导力

    • 推动架构决策
    • 指导团队成员
    • 建立最佳实践
    • 确保代码质量

  2. 战略思维

    • 与业务目标保持一致
    • 评估权衡取舍
    • 为规模化做规划
    • 管理技术债务

  3. 协作

    • 跨团队合作
    • 有效沟通
    • 建立共识
    • 分享知识

  4. 创新

    • 紧跟研究进展
    • 尝试新方法
    • 为社区做贡献
    • 推动持续改进

  5. 生产卓越

    • 确保高可用性
    • 主动监控
    • 优化性能
    • 响应事件

评论

支持 Markdown