Awesome Mlops

Awesome MLOps

MLOps（机器学习运维）参考资料精选列表 :point_right: ml-ops.org

Linkedin Dr. Larysa Visengeriyeva

目录

MLOps 核心	MLOps 社区
MLOps 书籍	MLOps 文章
MLOps 工作流管理	MLOps：特征存储
MLOps：数据工程（DataOps）	MLOps：模型部署与服务
MLOps：测试、监控与维护	MLOps：基础设施
MLOps 论文	MLOps 相关演讲
现有 ML 系统	机器学习
软件工程	ML/AI 产品管理
ML/AI 经济学	模型治理、伦理与负责任的 AI
MLOps：人员与流程	MLOps、机器学习、数据科学等相关通讯

MLOps 核心

点击展开！

1. 机器学习运维：你来设计、训练和运行！
2. MLOps SIG 规范
3. 生产环境中的 ML
4. 精选生产环境机器学习资源：MLOps 工具与框架现状
5. Udemy《ML 模型部署》
6. 全栈深度学习
7. 机器学习工程最佳实践
8. :rocket: 将 ML 投入生产环境
9. Stanford MLSys 研讨会系列
10. IBM ML 运维化入门套件
11. 产品化 ML：面向构建机器学习产品的开发者和产品经理的自学指南。
12. GCP 上的 MLOps（机器学习运维）基础
13. ML 全栈准备
14. MLOps 指南：理论与实践
15. MLOps 实践者指南：机器学习持续交付与自动化框架。
16. MLOps 成熟度评估

MLOps 社区

点击展开！

1. MLOps.community
2. CDF 特别兴趣小组 - MLOps
3. RsqrdAI - 稳健且负责任的 AI
4. DataTalks.Club
5. 合成数据社区
6. MLOps World 社区
7. Marvelous MLOps

MLOps 课程

1. MLOps Zoomcamp（免费）
2. Coursera 的机器学习工程（生产环境）（MLOps）专项课程
3. Udacity 机器学习 DevOps 工程师
4. Made with ML
5. Udacity LLMOps：使用大语言模型构建真实世界的应用

MLOps 书籍

点击展开！

1. Andriy Burkov 著《机器学习工程》，2020 年
2. David Sweenor、Steven Hillion、Dan Rope、Dev Kannabiran、Thomas Hill 和 Michael O'Connell 著《ML 运维：将数据科学投入运营》
3. Emmanuel Ameisen 著《构建由机器学习驱动的应用程序》
4. Hannes Hapke、Catherine Nelson 著《构建机器学习流水线》，2020 年，O’Reilly
5. Kirill Dubovikov 著《管理数据科学》
6. Stephen Fleming 著《借助 AI、ML 和 RPA 加速 DevOps：面向非程序员的 AIOPS 和 MLOPS 指南》
7. Alice Zheng 著《评估机器学习模型》
8. 《敏捷 AI》，2020 年，Carlo Appugliese、Paco Nathan、William S. Roberts 著，O'Reilly Media, Inc.
9. 《机器学习物流》，2017 年，T. Dunning 等著，O'Reilly Media Inc.
10. Valliappa Lakshmanan、Sara Robinson、Michael Munn 著《机器学习设计模式》，O'Reilly，2020 年
11. Boris Lublinsky 著《机器学习模型服务：架构、流处理引擎和框架指南》，O'Reilly Media, Inc.，2017 年
12. Holden Karau、Trevor Grant、Ilan Filonenko、Richard Liu、Boris Lublinsky 著《面向机器学习的 Kubeflow》
13. Moussa Taifi 著《简洁的机器学习代码》，Leanpub，2020 年
14. 电子书《实用 MLOps：如何为生产模型做好准备》
15. Mark Treveil 等著《MLOps 入门》，O'Reilly Media, Inc.，2020 年
16. 《面向数据流的机器学习：MOA 实例详解》，Bifet、Albert、Gavald`a、Ricard、Holmes、Geoff、Pfahringer、Bernhard 著，MIT Press，2018 年
17. Laszlo Sragner、Chris Kelly 著《机器学习产品手册》
18. Eric J. Ma 著《数据科学入门笔记》
19. Jesse Anderson 著《数据团队》，2020 年
20. Chris Fregly、Antje Barth 著《AWS 上的数据科学》，2021 年
21. Emmanuel Raj 著《MLOps 工程实践》，2021 年
22. 《机器学习工程实践》
23. 《实用 MLOps》
24. Ville Tuulos 著《高效的数据科学基础设施》，2021 年
25. 《面向设备端开发的 AI 和机器学习》，2021 年，Laurence Moroney 著，O'Reilly
26. Chip Huyen 著《设计机器学习系统》，2022 年，O'Reilly
27. 《可靠的机器学习》，2022 年，Cathy Chen、Niall Richard Murphy、Kranti Parisa、D. Sculley、Todd Underwood 著，O'Reilly
28. 《MLOps 生命周期工具包》，2023 年，Dayne Sorvisto 著，Apress
29. 《在企业中实施 MLOps》，2023 年，Yaron Haviv、Noah Gift 著，O'Reilly

MLOps Articles

Click to expand!

1. 机器学习持续交付（Thoughtworks 出品）
2. 什么是 MLOps？NVIDIA 博客
3. MLSpec：一个旨在标准化多阶段 ML Pipeline 组件间 schema 的项目。
4. 2021 年企业机器学习现状 | 2020 年企业 ML 现状：PDF 和交互版
5. 组织机器学习项目：项目管理指南。
6. ML 项目规则（最佳实践）
7. ML Pipeline 模板
8. 数据科学项目结构
9. 可复现 ML
10. 兼顾研究和生产阶段的 ML 项目模板。
11. 机器学习需要一种根本不同的部署方法。随着组织开始采用机器学习，对新型部署工具和策略的需求也日益增长。
12. 介绍 Flyte：云原生机器学习和数据处理平台
13. 为什么机器学习的 DevOps 如此不同？
14. 将机器学习模型转变为真实产品和服务的经验教训 – O’Reilly
15. MLOps：使用 Azure Machine Learning 进行模型管理、部署和监控
16. 机器学习文件格式指南：列式存储、训练、推理和特征存储
17. 构建机器学习 Pipeline：如何打造可扩展的机器学习系统
18. 为什么机器学习模型在生产环境中会退化
19. 机器学习中的概念漂移和模型衰减
20. 生产环境中的机器学习：为什么要关注数据漂移和概念漂移
21. 将 ML 投入生产
22. 端到端机器学习平台一览
23. MLOps：机器学习中的持续交付和自动化 Pipeline
24. AI 遇上运维
25. 如果将 DevOps 融入机器学习，会是什么样子？不必再猜，我们来揭开 MLOps 的面纱
26. Forbes：ML Ops 的兴起
27. Cognilytica 报告《ML 模型管理与运维 2020（MLOps）》
28. 介绍 Cloud AI Platform Pipelines
29. 生产级深度学习指南
30. 构建可用于生产的机器学习系统的 5 个组成部分
31. 生产环境中的深度学习（关于在生产环境中部署深度学习模型的参考资料）
32. 机器学习实验跟踪
33. 团队数据科学流程（TDSP）
34. MLOps 解决方案（基于 Azure）
35. 监控 ML Pipeline
36. 借助 Seldon Core 和 Alibi 大规模部署并解释 COVID-19 机器学习解决方案
37. 揭秘 AI 基础设施
38. 组织机器学习项目：项目管理指南。
39. 机器学习项目检查清单（摘自 Aurélien Géron 的《Hands-On Machine Learning with Scikit-Learn and TensorFlow》）
40. Jeremy Howard 的数据项目检查清单
41. MLOps：并没有听起来那么无聊
42. 让机器学习投入运营的 10 个步骤。Cloudera 白皮书
43. 仅有 MLOps 还不够：端到端数据科学生命周期流程的必要性。
44. 数据科学生命周期仓库模板
45. 模板：机器学习项目的代码和 Pipeline 定义，展示如何自动化端到端 ML/AI 工作流。
46. 吹毛求疵地看待机器学习技术债务
47. 机器学习团队实际使用的最佳工具、库、框架和方法——从 41 家 ML 初创公司学到的经验
48. AI/ML 软件工程——注释书目
49. 智能系统：实践中的机器学习
50. CMU 17-445/645：面向 AI 系统的软件工程（SE4AI）
51. 机器学习就是需求工程
52. 机器学习可复现性检查清单
53. 机器学习运维：关于如何借助 GitHub 推进机器学习运维的资源合集。
54. 几乎适用于所有机器学习项目的任务速查表：构建端到端 ML 项目的任务清单
55. 实时机器学习端点：Web 服务与流式处理
56. PyTorch Lightning 如何成为首个在 TPU 上运行持续集成的 ML 框架
57. 使用 DVC 构建可维护机器学习 Pipeline 的终极指南
58. 持续机器学习（CML）是机器学习项目的 CI/CD（DVC）
59. 我研究 200 种机器学习工具后的收获 | 更新：MLOps 工具版图 v2（新增 84 种工具）- 2020 年 12 月
60. 大数据与 AI 版图
61. 将机器学习模型作为数据而非代码来部署——是否更合适？
62. “务必始终扩展”——MLOps 十诫
63. 构建机器学习系统的三大风险
64. 关于生产环境中 ML 的博客（maiot.io 出品）
65. 回归机器学习基础：如何编写模型部署代码。第 1 部分、第 2 部分、第 3 部分
66. MLOps：作为工程学科的机器学习
67. Google Cloud Platform 上的 ML 工程（动手实验和代码示例）
68. 生产环境中的深度强化学习：Zynga 如何利用强化学习个性化用户体验
69. 什么是数据可观测性？
70. 维护生产环境机器学习的实用指南
71. 持续机器学习。第 1 部分、第 2 部分。第 3 部分即将推出。
72. 由 ML 专家解读数据科学中的敏捷方法
73. 构建 ML 驱动服务时，模型服务端应具备哪些特性
74. 企业 AI 开发工具的问题（以及 IKEA 与此有何关系）
75. 使用分层存储进行流式机器学习
76. 机器学习性能和成本优化最佳实践（Google Cloud）
77. 精益数据与机器学习运维
78. 在生产环境中运行 ML 系统简明指南：站点可靠性工程师最佳实践
79. 实践中的 AI 工程——SIG | 为更健康的数字世界打造可靠软件
80. SE-ML | 2020 年机器学习工程实践现状
81. 优秀的机器学习软件工程资源（GitHub 仓库）
82. 光靠抽样还不够，不如分析你的 ML 数据
83. ML 可复现性：为何重要以及如何实现
84. 生产环境机器学习可复现性的 12 个要素
85. MLOps：不止自动化
86. 精益数据科学
87. 数据科学家的工程技能
88. DAGsHub 博客：了解数据科学和机器学习工作流、MLOps 以及开源数据科学
89. 初创公司的数据科学项目流程
90. Shopify 的数据科学工程
91. 为加密经济打造先进的机器学习技术，实现高效执行
92. 完成机器学习闭环
93. 部署机器学习模型：检查清单
94. 全球 MLOps 和 ML 工具版图（MLReef 出品）
95. 为什么所有数据科学团队都应认真对待 MLOps
96. MLOps 价值观（Bart Grasza 出品）
97. 机器学习系统设计（Chip Huyen 出品）
98. 设计 ML 系统（Stanford | CS 329 | Chip Huyen）
99. COVID-19 如何感染 AI 模型（关于数据漂移或模型漂移的概念）
100. 机器学习库的微内核架构：使用 Python 元类实现微内核架构的示例
101. 生产环境中的机器学习：Booking.com 的方法
102. 参加 TWIMLcon 2021 的收获（James Le 出品）
103. 为初创公司设计 ML 编排系统：构建轻量级、生产级 ML 编排系统的案例研究
104. 迈向 MLOps：机器学习平台的技术能力 | Prosus AI 技术博客
105. 开始使用 MLOps：开源工具的综合 MLOps 教程
106. 从 DevOps 到 MLOPS：使用 Jenkins 和 Docker 集成机器学习模型
107. 基于 Pulumi、FastAPI、DVC、MLFlow 等构建基础 ML 平台的示例代码
108. 机器学习软件工程：机器学习系统中不匹配问题的刻画与检测
109. TWIML 解决方案指南
110. 你在多大程度上利用了大规模机器学习？需要提出的六个问题
111. MLOps 入门：为你的用例选择合适的能力
112. SEI 最新研究：人工智能、DevSecOps 和安全事件响应
113. MLOps：终极指南。关于 MLOps 及其思考方式的手册
114. 云 MLOps 的企业就绪度
115. 应该为每位客户训练一个模型，还是让所有客户共用一个模型？
116. MLOps-Basics（GitHub 仓库），作者：raviraja
117. 再添一个工具也解决不了你的 MLOps 问题
118. 最佳 MLOps 工具：关注哪些方面以及如何评估（NimbleBox.ai 出品）
119. MLOps 与 DevOps：详细比较（NimbleBox.ai 出品）
120. MLOps 团队搭建指南（NimbleBox.ai 出品）

# MLOps：工作流管理

1. Ploomber 撰写的开源工作流管理工具调查
2. 如何比较机器学习实验跟踪工具，以适配你的数据科学工作流（dagshub 撰写）
3. 15 款最佳机器学习实验跟踪工具

MLOps：特征存储

点击展开！

1. 关于机器学习特征存储的 Medium 博客
2. 使用特征存储实现 MLOps
3. 机器学习特征存储
4. Hopsworks：使用特征存储实现数据密集型 AI
5. Feast：用于机器学习的开源特征存储
6. 什么是特征存储？
7. 机器学习特征存储：浅谈
8. 面向数据科学家和大数据专业人士的特征存储架构综合列表
9. 机器学习工程师指南：特征存储与数据仓库（厂商博客）
10. 使用 Redis、二进制序列化、字符串哈希和压缩构建超大规模机器学习特征存储（DoorDash 博客）
11. 特征存储：为企业 AI 带来多种益处。
12. 特征存储：机器学习的基础
13. Lyft 的机器学习特征服务基础设施
14. 面向自助式机器学习的特征存储
15. LinkedIn 用于改进机器学习模型特征管理的架构。
16. 彩虹尽头是否有特征存储？如何为你的用例选择合适的特征存储

MLOps：数据工程（DataOps）

点击展开！

1. 2020 年数据质量现状 – O’Reilly
2. 为什么我们需要面向 ML 数据的 DevOps
3. 机器学习数据准备（7 天迷你课程）
4. 数据清理最佳实践：完整指南，涵盖收集数据前后需要完成的所有工作。
5. 处理数据、大数据和更大数据的 17 种策略
6. DataOps 数据架构
7. 数据编排入门
8. 2020 年值得关注的 4 个数据趋势
9. CSE 291D / 234：机器学习数据系统
10. 现代数据工程领域全景图
11. 使用 GitHub Actions 和 Great Expectations 对数据进行持续集成：让数据管道距离 CI/CD 更近一步
12. 现代数据基础设施的新兴架构
13. Awesome Data Engineering：成为数据工程师的学习路径和资源
14. Airbnb 的数据质量：第 1 部分 | 第 2 部分
15. DataHub：热门元数据架构详解
16. 《金融时报》数据平台：从零到英雄。深入介绍我们的数据平台演进历程
17. Alki，或者我们如何学会不再担忧并爱上冷元数据（Dropbox）
18. 清洁数据入门指南：发现和避免数据质量问题的实用建议（作者：Benjamin Greve）
19. ML Lake：构建 Salesforce 的机器学习数据平台
20. Data Catalog 3.0：面向现代数据技术栈的现代元数据
21. 元数据管理系统
22. 数据工程师必备资源（可扩展数据处理的精选阅读与观看清单）
23. 全面且易懂的数据目录：元数据管理的内容、对象、地点、时间、原因和方式（论文）
24. 参加 DataOps Unleashed 2021 的心得（作者：James Le）
25. Uber 从第一性原理出发迈向更优数据文化的历程
26. Cerberus - 轻量且可扩展的 Python 数据验证库
27. 使用 AWS Lake Formation 和 AWS Glue 设计数据网格架构。AWS 大数据博客
28. 生产环境机器学习中的数据管理挑战（幻灯片）
29. 数据发现与可观测性平台缺失的一环：元数据开放标准
30. 大规模自动化数据保护
31. 精选的优秀管道工具包列表
32. 数据网格架构
33. 机器学习数据探索必备指南（作者：NimbleBox.ai）
34. 使用 Cleanlab 找出数百万个标签错误

# MLOps：模型部署与服务

点击展开！

1. 面向所有人的 AI 基础设施：DeterminedAI
2. 使用 MLflow 和 Docker 部署 R 模型
3. 部署机器学习模型意味着什么？
4. 用于机器学习部署的软件接口
5. 用于机器学习部署的批量推理
6. ML 基础设施的 AWS 成本优化——EC2 支出
7. 机器学习与 AI 的 CI/CD
8. Itaú Unibanco：我们如何在 Kubeflow 中构建支持在线训练的机器学习 CI/CD 流水线
9. ML 模型服务入门
10. 将机器学习模型部署到生产环境——推理服务架构模式
11. 无服务器 ML：大规模部署轻量级模型
12. 将 ML 模型发布到生产环境。第 1 部分 | 第 2 部分
13. 使用 Flask、Docker 和 Kubernetes 部署 Python ML 模型
14. 使用 Bodywork 部署 Python ML 模型
15. 成功的持续训练策略框架：何时应重新训练模型？应使用哪些数据？应重新训练什么？一种数据驱动的方法
16. 高效的机器学习推理：在延迟至关重要时使用多模型服务的优势
17. 使用基础设施即代码在云端部署 Hugging Face ML 模型

MLOps：测试、监控与维护

点击展开！

1. 构建用于运营可视性的仪表板（AWS）
2. 在生产环境中监控机器学习模型
3. 机器学习系统的有效测试
4. 数据单元测试：是什么，如何进行？
5. 如何测试机器学习代码和系统 (配套代码)
6. Wu, T., Dong, Y., Dong, Z., Singa, A., Chen, X. and Zhang, Y., 2020. 面向安全性与鲁棒性的人工智能系统测试：现状。IAENG International Journal of Computer Science, 47(3).
7. 多臂老虎机与 Stitch Fix 实验平台
8. A/B 测试机器学习模型
9. 机器学习的数据验证。Polyzotis, N., Zinkevich, M., Roy, S., Breck, E. and Whang, S., 2019.《机器学习与系统会议论文集》
10. 基于机器学习的系统测试：系统映射研究
11. 可解释的监控：告别盲飞，监控你的 AI
12. WhyLogs：在机器学习系统中全面采用数据日志记录
13. Evidently AI：生产环境机器学习实践洞察。（供应商博客。）
14. 全面监控 AI 的权威指南
15. 机器学习单元测试简介
16. 生产环境机器学习监控：异常值、漂移、解释器与统计性能
17. MLOps 中的测试驱动开发 第 1 部分
18. 特定领域的机器学习监控
19. 推出机器学习模型性能管理（fiddler 博客）
20. 什么是机器学习可观测性？（Arize AI）
21. 超越监控：可观测性的兴起（Arize AI 与 Monte Carlo Data）
22. 模型失效模式（Arize AI）
23. 机器学习数据质量监控快速入门（Arize AI）
24. 生产环境模型性能监控实战手册（Arize AI）
25. 通过基于属性的领域覆盖测试实现鲁棒机器学习（Efemarai 博客）
26. 生产环境中模型的监控与可解释性
27. 超越监控：可观测性的兴起
28. 机器学习模型监控——一线实战的 9 条建议。（NU bank）
29. LinkedIn 的模型健康保障。作者：LinkedIn Engineering
30. 如何信任你的深度学习代码 (配套代码)
31. 在没有真实值的情况下估算回归模型的性能 （使用 NannyML）
32. 机器学习中的超参数调优如何运作（NimbleBox.ai）

# MLOps：基础设施与工具

点击展开！

1. MLOps 基础设施技术栈画布
2. 机器学习中规范化技术栈的崛起：主导性新软件技术栈将如何释放新一代尖端 AI 应用
3. AI Infrastructure Alliance：构建 AI/ML 的规范化技术栈
4. Linux Foundation AI Foundation
5. 面向生产环境的 ML 基础设施工具 | 第 1 部分 — 生产级 ML — 模型工作流的最后阶段 | 第 2 部分 — 模型部署与服务
6. MLOps 技术栈模板（由 valohai 提供）
7. 探索 MLOps 工具领域
8. MLOps.toys 精选 MLOps 项目列表（由 Aporia 提供）
9. 比较云端 MLOps 平台：一位前 AWS SageMaker 产品经理的视角
10. 机器学习生态系统 101（Arize AI 白皮书）
11. 选择最适合你的 MLOps 技术栈：优势与挑战。由 Intellerts 提供
12. 实时机器学习推理的基础设施设计。Databricks 博客
13. 2021 年 AI 基础设施现状调查
14. AI 基础设施成熟度矩阵
15. 精选最佳开源 MLOps 工具集。由 Censius 提供
16. 管理 ML 生命周期的最佳 MLOps 工具（由 NimbleBox.ai 提供）
17. MLOps 必备功能的最小集合

MLOps 论文

自 2015 年以来有关机器学习运维的科学与工业论文及资源列表。查看更多。

关于 MLOps 的演讲

点击展开！

1. Emmanuel Raj：《MLOps：自动化机器学习》
2. DeliveryConf 2020：《机器学习的持续交付：模式与难题》，Emily Gorcenski 主讲
3. MLOps Conference：2019 年演讲
4. Kubecon 2019：Flyte：云原生机器学习与数据处理平台
5. Kubecon 2019：Lyft 在 Kubernetes 上运行大规模有状态工作负载
6. 大规模生产机器学习的 CI/CD 框架（使用 Jenkins X 和 Seldon Core）
7. MLOps 虚拟活动（Databricks）
8. MLOps NY 2019 大会
9. MLOps.community YouTube 频道
10. MLinProduction YouTube 频道
11. 在 Databricks 上介绍端到端机器学习平台 MLflow。Spark+AI Summit 2020。Sean Owen
12. MLOps 教程 #1：机器学习持续集成简介
13. 高速机器学习：将机器学习应用于实时数据流（2019）
14. Damian Brady——MLops 新兴领域
15. MLOps——设计、开发、运维（INNOQ 德语播客）
16. 机器学习模型的监测、可观测性与监控
17. 高效的机器学习工程：工具与最佳实践
18. 超越 Jupyter Notebook：如何构建数据科学产品
19. Google Cloud 上的 MLOps 简介（前 19 分钟与供应商、语言和框架无关。@visenger）
20. 机器学习如何崩溃：一个大型机器学习流水线十年来的故障
21. 整洁的机器学习代码：实用软件工程
22. 机器学习工程：10 项基本实践
23. 机器学习系统架构（三部分系列）
24. 机器学习设计模式
25. 介绍模型生产部署技术与方法的播放列表
26. 机器学习可观测性：确保负责任 AI 的关键环节（Arize AI at Re-Work）
27. 机器学习工程与数据科学（Arize AI Un/Summit）
28. 机器学习领域的 SRE：前 10 年与未来 10 年
29. 揭开生产环境机器学习的神秘面纱：大型机器学习平台的推理
30. Apply Conf 2022
31. Databricks Data + AI Summit 2022
32. RE•WORK MLOps Summit 2022
33. 年度 MLOps World Conference

现有的机器学习系统

点击展开！

1. 介绍 FBLearner Flow：Facebook 的 AI 核心
2. TFX：基于 TensorFlow 的生产级机器学习平台
3. 加速 ML 和数据工作流投入生产：Flyte
4. Kubeflow Pipelines 入门
5. 认识 Michelangelo：Uber 的机器学习平台
6. Meson：Netflix 推荐系统的工作流编排
7. 什么是 Azure Machine Learning 管道？
8. Uber ATG 自动驾驶汽车的机器学习基础设施
9. ML 开发平台概览
10. Snorkel AI：在 ML 开发中以数据为先
11. 端到端机器学习平台巡礼
12. 介绍 WhyLabs：AI 可靠性的一大飞跃
13. 项目：Ease.ml（ETH Zürich）
14. Bodywork：模型训练与部署自动化
15. 机器学习平台经验——来自 Netflix、DoorDash、Spotify 等
16. 分享数据科学与生产环境机器学习实践的公司论文和技术博客。作者：Eugen Yan
17. 不同科技公司如何构建内部 ML 平台？（推文）
18. 声明式机器学习系统
19. 流式机器学习模型：ING 如何借助 Apache Flink 在运行时添加欺诈检测模型

机器学习

点击展开！

1. 书籍：Aurélien Géron，《Hands-On Machine Learning with Scikit-Learn and TensorFlow》
2. 机器学习基础
3. 学习机器学习的优质资源
4. Awesome TensorFlow
5. “Papers with Code”——浏览机器学习领域的最新成果
6. Zhi-Hua Zhou。2012。《集成方法：基础与算法》。Chapman & Hall/CRC。
7. 《面向机器学习的特征工程：数据科学家的原则与技巧》，Alice Zheng、Amanda Casari 著
8. Google Research：回顾 2019，展望 2020 及未来
9. O’Reilly：通往 Software 2.0 之路
10. 机器学习与数据科学在行业中的应用
11. 用于异常检测的深度学习
12. 用于移动键盘预测的联邦学习
13. 联邦学习：利用设备端数据构建更好的产品，并默认保护隐私
14. 联邦学习：无需集中式训练数据的协作式机器学习
15. Yang, Q., Liu, Y., Cheng, Y., Kang, Y., Chen, T. 和 Yu, H.，2019。联邦学习。《人工智能与机器学习综合讲座》，13(3)，第 1、2 章。
16. FastForward 的联邦学习
17. 联邦与分布式机器学习大会
18. 联邦学习：挑战、方法与未来方向
19. 书籍：Molnar, Christoph。《可解释机器学习：让黑盒模型变得可解释的指南》，2019
20. 书籍：Hutter, Frank、Lars Kotthoff 和 Joaquin Vanschoren。《自动化机器学习》。Springer，2019。
21. 由社区精选的主题机器学习资源。
22. 《机器学习可解释性简介》，Patrick Hall、Navdeep Gill 著，第 2 版。O'Reilly，2019
23. 用于训练可解释机器学习（ML）模型、解释 ML 模型，以及调试 ML 模型准确性、歧视性和安全性的技术示例。
24. 论文：《Python 中的机器学习：数据科学、机器学习和人工智能的主要进展与技术趋势》，Sebastian Raschka、Joshua Patterson 和 Corey Nolet 著。2020
25. Distill：机器学习研究
26. AtHomeWithAI：DeepMind 精选资源列表
27. Awesome Data Science
28. 概率编程简介：使用 Tensorflow-Probability（TFP）的案例
29. 深入了解 Snorkel：德语文本上的弱监督。inovex 博客
30. 深入学习：一本包含代码、数学和讨论的交互式深度学习书籍，提供 NumPy/MXNet、PyTorch 和 TensorFlow 实现
31. 数据科学精选资源（GitHub 仓库）
32. 一套图解机器学习速查表
33. Alexey Grigorev 著《机器学习训练营》
34. 130 个机器学习项目：解答与讲解
35. 机器学习速查表
36. Stateoftheart AI：由研究社区打造的开放数据免费平台，旨在促进 AI 协作开发
37. 在线机器学习课程：2020 版
38. 端到端机器学习库
39. 机器学习工具箱（Amit Chaudhary 编制）
40. 面向机器学习的因果关系
41. 勇者的因果推断指南
42. 因果推断
43. 统计学、数据科学和物理学中的因果关系资源列表
44. 从数据中学习。Caltech
45. 机器学习术语表
46. 书籍：《分布式机器学习模式》。2022。Yuan Tang 著。Manning
47. 面向初学者的机器学习——课程大纲
48. 与机器学习交朋友。Cassie Kozyrkov 著
49. 机器学习工作流——完整指南（NimbleBox.ai 编制）
50. 机器学习项目中需要监控的性能指标（NimbleBox.ai 编制）

软件工程

点击展开！

1. The Twelve Factors
2. 《Accelerate: The Science of Lean Software and DevOps: Building and Scaling High Performing Technology Organizations》，Nicole Forsgren 等人于 2018 年著
3. Gene Kim 等人于 2016 年著的《The DevOps Handbook》
4. 2019 年 DevOps 现状
5. 为机器学习和数据科学改编的 Clean Code 概念。
6. SRE 学院
7. 人们忽视的软件工程 10 条定律
8. 可扩展、可靠且高性能的大规模系统模式
9. 《秘密知识之书》
10. CONWAY 定律的不同面貌
11. 数据科学家的工程实践

ML/AI 产品管理

点击展开！

1. 关于 AI 产品管理，你需要了解的内容。AI 产品经理不仅要完成传统产品经理的所有工作，还要做得更多。
2. 将 AI 产品推向市场。前几篇文章介绍了 AI 产品管理的基础知识。现在来谈谈核心问题：如何将产品推向市场？
3. People + AI 指南
4. 用户需求 + 定义成功
5. 构建机器学习产品：问题定义清楚，问题就解决了一半。
6. 演讲：设计出色的 ML 体验（Apple）
7. 面向产品经理的机器学习
8. 通过 Wardley Mapping 了解数据格局与战略布局
9. 跨产品和功能原型设计机器学习系统的技术
10. 机器学习与用户体验：一些资源
11. AI 构思画布
12. AI 构思
13. 构建商业机器学习模型的 5 个步骤。由 Shopify 工程团队撰写
14. 面向数据科学家和商业领袖的指标设计

ML/AI 的经济学

点击展开！

1. 书籍：《预测机器：人工智能的简单经济学》
2. 书籍：David Carmona 著《AI 组织》
3. 书籍：《成功运用 AI》。2020 年。Veljko Krunic 著。Manning Publications
4. 有关 AI 与经济的文章列表
5. Gartner 2019 年 AI 趋势
6. 全球 AI 调查：AI 已证明其价值，但很少有企业能扩大影响
7. 准备开始使用 AI？从这里开始！开启项目所需了解的一切
8. 启动成功的机器学习项目之前要问的 11 个问题
9. AI 仍然做不到什么
10. 揭开 AI 的神秘面纱（第 4 部分）：什么是 AI Canvas，如何使用它？
11. 数据科学工作流画布：助力项目起步
12. 你的 AI 项目是否注定失败？这份现实检查清单可助你避免从惨痛教训中学习
13. 大多数 ML 项目失败的主要原因是什么？
14. 设计出色的数据产品。Drivetrain 方法：构建数据产品的四步流程。
15. AI 新业务（及其与传统软件的不同之处）
16. AI 初创企业的创意迷宫
17. 企业 AI 挑战：常见误解
18. 误解 1（共 5 个）：企业 AI 主要关乎技术
19. 误解 2（共 5 个）：自动化机器学习将释放企业 AI 的潜力
20. 设计 ML 驱动产品的三项原则
21. 机器学习问题界定分步指南
22. 2020 年企业 AI 采用情况
23. 采用 MLOps 如何帮助企业建立 ML 文化？
24. 将 AI 融入组织
25. AI 失败时该怎么办
26. 机器学习问题界定简介
27. 识别 AI 用例的结构化方法
28. 书籍：Doug Hudgeon、Richard Nichol 著《商业机器学习》，O'reilly
29. 商业人工智能产品为何无法规模化（FemTech）
30. Google Cloud 的 AI 采用框架（白皮书）
31. 数据科学项目管理
32. 书籍：Marco Iansiti、Karim R. Lakhani 著《在 AI 时代竞争》。Harvard Business Review Press。2020 年
33. 初创企业需要提出的三个 AI 问题。第一个是：你确定需要 AI 吗？
34. 驯服长尾：改善 AI 经济效益的探索
35. 管理采用 AI 工程的风险
36. 摒弃 AI 救世主义
37. 汇总分析数据科学项目失败原因的文章
38. 如何选择你的第一个 AI 项目，Andrew Ng 著
39. 如何设定 AI 目标
40. 通过组织学习扩大 AI 的影响
41. 门面数据科学
42. 什么时候不应该投资 AI？
43. 为什么 90% 的机器学习模型从未进入市场。大多数企业缺乏领导层支持、团队间有效沟通以及易于访问的数据

# 模型治理、伦理与负责任的 AI

此主题已迁移至我们新的 Awesome ML Model Governace repository

MLOps：人员与流程

点击展开！

1. 扩展 ML 团队（0–10 人）
2. Knowledge Repo 项目旨在促进数据科学家与其他技术岗位人员之间的知识共享。
3. 在 Airbnb 扩展知识共享
4. 公司内部数据科学团队的整合模式：比较分析
5. 运用 Why、What、How 框架写出更好的文档。如何为数据科学／机器学习项目撰写设计文档？（作者：Eugene Yan）
6. 技术写作课程
7. 在发展中期的初创公司组建数据团队：一个简短的故事。作者：Erik Bernhardsson
8. 人工智能在企业中的文化效益。作者：Sam Ransbotham、François Candelon、David Kiron、Burt LaFountain 和 Shervin Khodabandeh

关于 MLOps、机器学习、数据科学等的新闻简报

点击展开！

1. ML in Production 新闻简报
2. MLOps.community
3. Andriy Burkov 新闻简报
4. Cassie Kozyrkov 的决策智能
5. Laszlo 的数据科学新闻简报
6. Data Elixir 新闻简报：每周精选网络上的优质数据科学内容，涵盖机器学习、数据可视化、分析和策略。
7. Tristan Handy 的数据科学综述
8. Vicki Boykis 的数据科学新闻简报
9. KDnuggets 新闻
10. Analytics Vidhya：关于商业分析、数据科学、大数据、数据可视化工具和技术的各种问题
11. Data Science Weekly 新闻简报：免费每周简报，精选与数据科学相关的新闻、文章和职位
12. 机器学习工程师新闻简报
13. Gradient Flow 通过深入报道、分析和见解，帮助你紧跟最新技术趋势和工具。了解数据、技术和商业领域的最新动态，重点关注机器学习和 AI
14. Nathan Benaich 的 AI 指南。每月分析 AI 技术、地缘政治、研究和初创公司。
15. O'Reilly 数据与 AI 新闻简报
16. Andrew Ng 的 deeplearning.ai 新闻简报
17. Deep Learning Weekly
18. Import AI 是一份关于人工智能的每周新闻简报，拥有超过一万名专家读者。作者：Jack Clark。
19. AI Ethics Weekly
20. 宣布推出 Projects To Know，一份每周一期的机器智能和数据科学新闻简报
21. TWIML：本周机器学习与 AI 新闻简报
22. featurestore.org：关于 ML 特征存储的月度新闻简报
23. DataTalks.Club 社区：Slack、新闻简报、播客、每周活动
24. 机器学习运维综述
25. Eric Ma 的数据科学编程新闻简报
26. Mikio L. Braun 的《边缘趣闻》
27. Synced
28. Ground Truth：面向计算机视觉从业者的新闻简报
29. SwirlAI：Aurimas Griciūnas 编写的数据工程、MLOps 及整体数据领域新闻简报
30. Marvelous MLOps
31. Made with ML
32. MLOps Insights 新闻简报——共 8 期，涵盖模型反馈真空、部署可复现性和 MLOps 场景下的无服务器等主题