mcpField
S
senior-ml-engineer

senior-ml-engineer

github.com/davila7开发33.0k799 次安装1 天前更新
代码仓库

关于 senior-ml-engineer

Senior ML/AI Engineer 是面向构建生产级 AI、ML 和数据系统团队的技能，提供实现脚本与参考指南，涵盖模型部署、RAG、监控、扩展和运维实践。

主要功能

  1. 01提供模型部署、RAG 和监控脚本
  2. 02涵盖 MLOps 与 DataOps 指引
  3. 03提供可扩展数据处理模式
  4. 04介绍部署及模型漂移监控实践
  5. 05附有 LLM 集成与 RAG 架构参考

适用场景

  1. 01为项目构建并分析 RAG 系统
  2. 02对数据运行模型部署流程
  3. 03根据配置设置 ML 监控
  4. 04规划可扩展推理与生产运维

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/davila7/claude-code-templates --skill senior-ml-engineer

安装后在 Claude Code 中输入/senior-ml-engineer确认已加载。

包含的文件

除 SKILL.md 外，安装时一起下载的参考资料和脚本。

references/
llm_integration_guide.md
mlops_production_patterns.md
rag_system_architecture.md
scripts/
ml_monitoring_suite.py
model_deployment_pipeline.py
rag_system_builder.py

详细介绍

资深 ML/AI 工程师

世界级资深 ML/AI 工程师技能，面向生产级 AI/ML/数据系统。

快速开始

主要能力
# Core Tool 1
python scripts/model_deployment_pipeline.py --input data/ --output results/

# Core Tool 2  
python scripts/rag_system_builder.py --target project/ --analyze

# Core Tool 3
python scripts/ml_monitoring_suite.py --config config.yaml --deploy

核心专长

本技能涵盖以下领域的顶级能力：

  • 先进的生产模式与架构
  • 可扩展的系统设计与实现
  • 大规模性能优化
  • MLOps 与 DataOps 最佳实践
  • 实时处理与推理
  • 分布式计算框架
  • 模型部署与监控
  • 安全与合规
  • 成本优化
  • 团队领导与指导

技术栈

语言： Python、SQL、R、Scala、Go ML 框架： PyTorch、TensorFlow、Scikit-learn、XGBoost 数据工具： Spark、Airflow、dbt、Kafka、Databricks 大模型框架： LangChain、LlamaIndex、DSPy 部署： Docker、Kubernetes、AWS/GCP/Azure 监控： MLflow、Weights & Biases、Prometheus 数据库： PostgreSQL、BigQuery、Snowflake、Pinecone

参考文档

1. MLOps 生产模式

综合指南见 references/mlops_production_patterns.md，涵盖：

  • 先进模式与最佳实践
  • 生产实现策略
  • 性能优化技术
  • 可扩展性考量
  • 安全与合规
  • 真实案例研究
2. 大模型集成指南

完整工作流文档见 references/llm_integration_guide.md，包括：

  • 分步流程
  • 架构设计模式
  • 工具集成指南
  • 性能调优策略
  • 故障排除流程
3. RAG 系统架构

技术参考指南见 references/rag_system_architecture.md，包含：

  • 系统设计原则
  • 实现示例
  • 配置最佳实践
  • 部署策略
  • 监控与可观测性

生产模式

模式 1：可扩展数据处理

基于分布式计算的企业级数据处理：

  • 水平扩展架构
  • 容错设计
  • 实时与批处理
  • 数据质量校验
  • 性能监控
模式 2：ML 模型部署

高可用生产级 ML 系统：

  • 低延迟模型服务
  • A/B 测试基础设施
  • 特征存储集成
  • 模型监控与漂移检测
  • 自动化再训练流水线
模式 3：实时推理

高吞吐推理系统：

  • 批处理与缓存策略
  • 负载均衡
  • 自动扩缩容
  • 延迟优化
  • 成本优化

最佳实践

开发
  • 测试驱动开发
  • 代码评审与结对编程
  • 文档即代码
  • 一切皆版本控制
  • 持续集成
生产
  • 监控一切关键环节
  • 自动化部署
  • 使用功能开关发布
  • 金丝雀部署
  • 全面的日志记录
团队领导
  • 指导初级工程师
  • 推动技术决策
  • 建立编码规范
  • 培养学习文化
  • 跨职能协作

性能目标

延迟：

  • P50：< 50ms
  • P95：< 100ms
  • P99：< 200ms

吞吐：

  • 请求/秒：> 1000
  • 并发用户：> 10,000

可用性：

  • 正常运行时间：99.9%
  • 错误率：< 0.1%

安全与合规

  • 身份认证与授权
  • 数据加密（静态与传输中）
  • PII 处理与匿名化
  • GDPR/CCPA 合规
  • 定期安全审计
  • 漏洞管理

常用命令

# Development
python -m pytest tests/ -v --cov
python -m black src/
python -m pylint src/

# Training
python scripts/train.py --config prod.yaml
python scripts/evaluate.py --model best.pth

# Deployment
docker build -t service:v1 .
kubectl apply -f k8s/
helm upgrade service ./charts/

# Monitoring
kubectl logs -f deployment/service
python scripts/health_check.py

资源

  • 先进模式：references/mlops_production_patterns.md
  • 实现指南：references/llm_integration_guide.md
  • 技术参考：references/rag_system_architecture.md
  • 自动化脚本：scripts/ 目录

资深级别职责

作为世界一流的资深专业人士：

  1. 技术领导力

    • 推动架构决策
    • 指导团队成员
    • 建立最佳实践
    • 确保代码质量

  2. 战略思维

    • 与业务目标保持一致
    • 评估权衡取舍
    • 为规模化做规划
    • 管理技术债务

  3. 协作

    • 跨团队合作
    • 有效沟通
    • 建立共识
    • 分享知识

  4. 创新

    • 紧跟研究进展
    • 尝试新方法
    • 为社区做贡献
    • 推动持续改进

  5. 生产卓越

    • 确保高可用性
    • 主动监控
    • 优化性能
    • 响应事件

评论

支持 Markdown