mcpField
S
senior-ml-engineer

senior-ml-engineer

github.com/ovachiever开发5648 次安装48 周前更新
代码仓库

关于 senior-ml-engineer

面向机器学习与 AI 工程师的生产级系统设计和实施技能，涵盖 MLOps、数据处理、模型部署及监控。提供脚本和参考指南，支持从 RAG 架构到实时推理的工程工作。

主要功能

  1. 01生产级系统架构指导
  2. 02模型部署与监控流程
  3. 03RAG 系统构建参考
  4. 04分布式与实时数据处理
  5. 05性能、安全与成本优化

适用场景

  1. 01设计可扩展的 ML 系统
  2. 02构建和部署 RAG 系统
  3. 03监控模型漂移并规划再训练
  4. 04实施低延迟实时推理

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/ovachiever/droid-tings --skill senior-ml-engineer

安装后在 Claude Code 中输入/senior-ml-engineer确认已加载。

包含的文件

除 SKILL.md 外，安装时一起下载的参考资料和脚本。

references/
llm_integration_guide.md
mlops_production_patterns.md
rag_system_architecture.md
scripts/
ml_monitoring_suite.py
model_deployment_pipeline.py
rag_system_builder.py

详细介绍

资深 ML/AI 工程师

世界级资深 ML/AI 工程师技能，面向生产级 AI/ML/数据系统。

快速开始

主要能力
# Core Tool 1
python scripts/model_deployment_pipeline.py --input data/ --output results/

# Core Tool 2  
python scripts/rag_system_builder.py --target project/ --analyze

# Core Tool 3
python scripts/ml_monitoring_suite.py --config config.yaml --deploy

核心专长

本技能涵盖以下领域的顶级能力：

  • 先进的生产模式与架构
  • 可扩展的系统设计与实现
  • 大规模性能优化
  • MLOps 与 DataOps 最佳实践
  • 实时处理与推理
  • 分布式计算框架
  • 模型部署与监控
  • 安全与合规
  • 成本优化
  • 团队领导与指导

技术栈

语言： Python、SQL、R、Scala、Go ML 框架： PyTorch、TensorFlow、Scikit-learn、XGBoost 数据工具： Spark、Airflow、dbt、Kafka、Databricks 大模型框架： LangChain、LlamaIndex、DSPy 部署： Docker、Kubernetes、AWS/GCP/Azure 监控： MLflow、Weights & Biases、Prometheus 数据库： PostgreSQL、BigQuery、Snowflake、Pinecone

参考文档

1. MLOps 生产模式

综合指南见 references/mlops_production_patterns.md，涵盖：

  • 先进模式与最佳实践
  • 生产实现策略
  • 性能优化技术
  • 可扩展性考量
  • 安全与合规
  • 真实案例研究
2. 大模型集成指南

完整工作流文档见 references/llm_integration_guide.md，包括：

  • 分步流程
  • 架构设计模式
  • 工具集成指南
  • 性能调优策略
  • 故障排除流程
3. RAG 系统架构

技术参考指南见 references/rag_system_architecture.md，包含：

  • 系统设计原则
  • 实现示例
  • 配置最佳实践
  • 部署策略
  • 监控与可观测性

生产模式

模式 1：可扩展数据处理

基于分布式计算的企业级数据处理：

  • 水平扩展架构
  • 容错设计
  • 实时与批处理
  • 数据质量校验
  • 性能监控
模式 2：ML 模型部署

高可用生产级 ML 系统：

  • 低延迟模型服务
  • A/B 测试基础设施
  • 特征存储集成
  • 模型监控与漂移检测
  • 自动化再训练流水线
模式 3：实时推理

高吞吐推理系统：

  • 批处理与缓存策略
  • 负载均衡
  • 自动扩缩容
  • 延迟优化
  • 成本优化

最佳实践

开发
  • 测试驱动开发
  • 代码评审与结对编程
  • 文档即代码
  • 一切皆版本控制
  • 持续集成
生产
  • 监控一切关键环节
  • 自动化部署
  • 使用功能开关发布
  • 金丝雀部署
  • 全面的日志记录
团队领导
  • 指导初级工程师
  • 推动技术决策
  • 建立编码规范
  • 培养学习文化
  • 跨职能协作

性能目标

延迟：

  • P50：< 50ms
  • P95：< 100ms
  • P99：< 200ms

吞吐：

  • 请求/秒：> 1000
  • 并发用户：> 10,000

可用性：

  • 正常运行时间：99.9%
  • 错误率：< 0.1%

安全与合规

  • 身份认证与授权
  • 数据加密（静态与传输中）
  • PII 处理与匿名化
  • GDPR/CCPA 合规
  • 定期安全审计
  • 漏洞管理

常用命令

# Development
python -m pytest tests/ -v --cov
python -m black src/
python -m pylint src/

# Training
python scripts/train.py --config prod.yaml
python scripts/evaluate.py --model best.pth

# Deployment
docker build -t service:v1 .
kubectl apply -f k8s/
helm upgrade service ./charts/

# Monitoring
kubectl logs -f deployment/service
python scripts/health_check.py

资源

  • 先进模式：references/mlops_production_patterns.md
  • 实现指南：references/llm_integration_guide.md
  • 技术参考：references/rag_system_architecture.md
  • 自动化脚本：scripts/ 目录

资深级别职责

作为世界一流的资深专业人士：

  1. 技术领导力

    • 推动架构决策
    • 指导团队成员
    • 建立最佳实践
    • 确保代码质量

  2. 战略思维

    • 与业务目标保持一致
    • 评估权衡取舍
    • 为规模化做规划
    • 管理技术债务

  3. 协作

    • 跨团队合作
    • 有效沟通
    • 建立共识
    • 分享知识

  4. 创新

    • 紧跟研究进展
    • 尝试新方法
    • 为社区做贡献
    • 推动持续改进

  5. 生产卓越

    • 确保高可用性
    • 主动监控
    • 优化性能
    • 响应事件

评论

支持 Markdown