Awesome Mlops

素晴らしい MLOps

MLOps（機械学習オペレーション）に関する参考資料の素晴らしいリストです :point_right: ml-ops.org

Linkedin Dr. Larysa Visengeriyeva

目次

MLOps の中核	MLOps コミュニティ
MLOps の書籍	MLOps の記事
MLOps ワークフロー管理	MLOps：特徴量ストア
MLOps：データエンジニアリング（DataOps）	MLOps：モデルのデプロイとサービング
MLOps：テスト、モニタリング、保守	MLOps：インフラストラクチャ
MLOps の論文	MLOps に関する講演
既存の ML システム	機械学習
ソフトウェアエンジニアリング	ML/AI のプロダクトマネジメント
ML/AI の経済学	モデルガバナンス、倫理、責任ある AI
MLOps：人とプロセス	MLOps、機械学習、データサイエンスなどに関するニュースレター

MLOps の中核

クリックして展開！

1. 機械学習オペレーション：設計する。トレーニングする。実行する！
2. MLOps SIG 仕様
3. 本番環境での ML
4. 素晴らしい本番環境の機械学習：MLOps ツールとフレームワークの現状
5. Udemy「ML モデルのデプロイ」
6. フルスタックディープラーニング
7. 機械学習のエンジニアリングにおけるベストプラクティス
8. :rocket: ML を本番環境に導入する
9. Stanford MLSys セミナーシリーズ
10. IBM ML 運用化スターターキット
11. ML のプロダクト化：機械学習プロダクトを開発する開発者とプロダクトマネージャーのための独習ガイド
12. GCP における MLOps（機械学習オペレーション）の基礎
13. ML フルスタックの準備
14. MLOps ガイド：理論と実装
15. MLOps 実践者向けガイド：機械学習の継続的デリバリーと自動化のためのフレームワーク
16. MLOps 成熟度評価

MLOps コミュニティ

クリックして展開！

1. MLOps.community
2. CDF 特別利益団体 - MLOps
3. RsqrdAI - 堅牢で責任ある AI
4. DataTalks.Club
5. 合成データコミュニティ
6. MLOps World コミュニティ
7. Marvelous MLOps

MLOps コース

1. MLOps Zoomcamp（無料）
2. Coursera の Machine Learning Engineering for Production（MLOps）専門講座
3. Udacity 機械学習 DevOps エンジニア
4. ML で構築
5. Udacity LLMOps：大規模言語モデルを使った実世界のアプリケーション構築

MLOps 書籍

クリックして展開！

1. Andriy Burkov 著『機械学習エンジニアリング』、2020年
2. David Sweenor、Steven Hillion、Dan Rope、Dev Kannabiran、Thomas Hill、Michael O'Connell 著『ML Ops：データサイエンスの運用化』
3. Emmanuel Ameisen 著『機械学習を活用したアプリケーションの構築』
4. Hannes Hapke、Catherine Nelson 著『機械学習パイプラインの構築』、2020年、O’Reilly
5. Kirill Dubovikov 著『データサイエンスの管理』
6. Stephen Fleming 著『AI、ML、RPAによるDevOpsの加速：AIOPSとMLOPSのためのプログラマー以外向けガイド』
7. Alice Zheng 著『機械学習モデルの評価』
8. 『アジャイルAI』。2020年。Carlo Appugliese、Paco Nathan、William S. Roberts 著。O'Reilly Media, Inc.
9. 『機械学習のロジスティクス』。2017年。T. Dunning ほか著。O'Reilly Media Inc.
10. Valliappa Lakshmanan、Sara Robinson、Michael Munn 著『機械学習のデザインパターン』。O'Reilly、2020年
11. Boris Lublinsky 著『機械学習モデルのサービング：アーキテクチャ、ストリーム処理エンジン、フレームワークのガイド』、O'Reilly Media, Inc.、2017年
12. Holden Karau、Trevor Grant、Ilan Filonenko、Richard Liu、Boris Lublinsky 著『機械学習のためのKubeflow』
13. Moussa Taifi 著『クリーンな機械学習コード』。Leanpub。2020年
14. 電子書籍『実践MLOps：本番環境向けモデルの準備方法』
15. Mark Treveil ほか著『MLOps入門』。O'Reilly Media, Inc.、2020年
16. 『MOAの実践例で学ぶデータストリームの機械学習』、Bifet, Albert and Gavald`a, Ricard and Holmes, Geoff and Pfahringer, Bernhard、MIT Press、2018年
17. Laszlo Sragner、Chris Kelly 著『機械学習プロダクトマニュアル』
18. Eric J. Ma 著『データサイエンスのブートストラップノート』
19. Jesse Anderson 著『データチーム』、2020年
20. Chris Fregly、Antje Barth 著『AWSでのデータサイエンス』、2021年
21. Emmanuel Raj 著『MLOpsエンジニアリング』、2021年
22. 実践で学ぶ機械学習エンジニアリング
23. 実践MLOps
24. Ville Tuulos 著『効果的なデータサイエンスインフラストラクチャ』、2021年
25. デバイス上での開発のためのAIと機械学習、2021年、Laurence Moroney 著。O'Reilly
26. 機械学習システムの設計、Chip Huyen 著、2022年、O'Reilly
27. 信頼性の高い機械学習。2022年。Cathy Chen、Niall Richard Murphy、Kranti Parisa、D. Sculley、Todd Underwood 著。O'Reilly
28. MLOpsライフサイクルツールキット。2023年。Dayne Sorvisto 著。Apress
29. エンタープライズでのMLOpsの導入。2023年。Yaron Haviv、Noah Gift 著。O'Reilly

MLOps Articles

Click to expand!

1. 機械学習の継続的デリバリー（Thoughtworks 著）
2. MLOps とは？ NVIDIA Blog
3. MLSpec：多段階 ML パイプラインのコンポーネント間スキーマを標準化するプロジェクト。
4. エンタープライズ機械学習の現状 2021 | エンタープライズ ML の現状 2020：PDF およびインタラクティブ版
5. 機械学習プロジェクトの編成：プロジェクト管理ガイドライン。
6. ML プロジェクトのルール（ベストプラクティス）
7. ML パイプラインテンプレート
8. データサイエンスプロジェクトの構成
9. 再現可能な ML
10. 研究段階と本番段階の両方に対応する ML プロジェクトテンプレート。
11. 機械学習には根本的に異なるデプロイアプローチが必要です。組織が機械学習を導入するにつれて、新しいデプロイツールと戦略の必要性が高まっています。
12. Flyte の紹介：クラウドネイティブな機械学習・データ処理プラットフォーム
13. 機械学習の DevOps はなぜこれほど異なるのか？
14. 機械学習モデルを実際の製品やサービスにする過程で学んだ教訓 – O’Reilly
15. MLOps：Azure Machine Learning によるモデル管理、デプロイ、監視
16. 機械学習のファイル形式ガイド：カラムナー形式、トレーニング、推論、フィーチャーストア
17. 機械学習パイプラインの設計：スケーラブルな機械学習システムの構築方法
18. 機械学習モデルが本番環境で劣化する理由
19. 機械学習における概念ドリフトとモデル劣化
20. 本番環境での機械学習：データドリフトと概念ドリフトに注意すべき理由
21. ML を本番環境に導入する
22. エンドツーエンドの機械学習プラットフォームを巡る
23. MLOps：機械学習における継続的デリバリーと自動化パイプライン
24. AI とオペレーションの出会い
25. DevOps に機械学習を組み合わせるとどうなるでしょうか？もう不思議に思う必要はありません。MLOps の全貌を明らかにします
26. Forbes：ML Ops の台頭
27. Cognilytica レポート「ML モデル管理と運用 2020（MLOps）」
28. Cloud AI Platform Pipelines の紹介
29. 本番レベルのディープラーニングガイド
30. 本番環境対応の機械学習システム構築に向けた 5 つの要素
31. 本番環境でのディープラーニング（本番環境でのディープラーニングベースのモデルのデプロイに関する参考資料）
32. 機械学習の実験トラッキング
33. チームデータサイエンスプロセス（TDSP）
34. MLOps ソリューション（Azure ベース）
35. ML パイプラインの監視
36. Seldon Core と Alibi による COVID-19 ソリューションの大規模な機械学習デプロイと説明可能性
37. AI インフラストラクチャの謎を解き明かす
38. 機械学習プロジェクトの編成：プロジェクト管理ガイドライン。
39. 機械学習プロジェクトのチェックリスト（Aurélien Géron 著「Hands-On Machine Learning with Scikit-Learn and TensorFlow」より）
40. Jeremy Howard によるデータプロジェクトのチェックリスト
41. MLOps：聞こえるほど退屈ではありません
42. 機械学習を運用化するための 10 ステップ。Cloudera ホワイトペーパー
43. MLOps だけでは不十分です。エンドツーエンドのデータサイエンスライフサイクルプロセスが必要です。
44. データサイエンスライフサイクルのリポジトリテンプレート
45. テンプレート：エンドツーエンドの ML／AI ワークフローを自動化する方法を示す、機械学習プロジェクト用のコードとパイプライン定義。
46. 機械学習の技術的負債を細かく検討する
47. 機械学習チームが実際に使用している最良のツール、ライブラリ、フレームワーク、方法論 – 41 の ML スタートアップから学んだこと
48. AI／ML のソフトウェアエンジニアリング - 注釈付き参考文献
49. インテリジェントシステム。実践における機械学習
50. CMU 17-445/645：AI 対応システムのソフトウェアエンジニアリング（SE4AI）
51. 機械学習は要件エンジニアリングです
52. 機械学習の再現性チェックリスト
53. 機械学習 Ops。GitHub を活用して機械学習 Ops を実現する方法に関するリソース集。
54. ほぼすべての機械学習プロジェクトに役立つタスク一覧：エンドツーエンド ML プロジェクト構築のタスクチェックリスト
55. リアルタイム機械学習エンドポイントにおけるウェブサービスとストリーミングの比較
56. PyTorch Lightning が TPU で継続的インテグレーションを実行する初の ML フレームワークになった経緯
57. DVC を使って保守しやすい機械学習パイプラインを構築するための究極ガイド
58. 継続的機械学習（CML）は機械学習プロジェクト向けの CI/CD です（DVC）
59. 200 の機械学習ツールを調べて学んだこと | 更新：MLOps ツールの全体像 v2（新たに 84 個のツール）- 2020 年 12 月
60. ビッグデータと AI の全体像
61. 機械学習モデルをコードではなくデータとしてデプロイする — より適した方法でしょうか？
62. 「常にスケールせよ」— MLOps の 10 の戒め
63. 機械学習システム構築における 3 つのリスク
64. 本番環境の ML に関するブログ（maiot.io 著）
65. 機械学習の基礎に立ち返る：モデルデプロイ用のコードの書き方。パート 1、パート 2、パート 3
66. MLOps：エンジニアリング分野としての機械学習
67. Google Cloud Platform での ML エンジニアリング（ハンズオンラボとコードサンプル）
68. 本番環境での深層強化学習。Zynga におけるユーザー体験のパーソナライズへの強化学習の活用
69. データオブザーバビリティとは？
70. 本番環境の機械学習を維持するための実践ガイド
71. 継続的機械学習。パート 1、パート 2。パート 3 は近日公開予定です。
72. ML の専門家が解説する、データサイエンスにおけるアジャイルアプローチ
73. ML を活用したサービスを構築するために、モデルサーバーに求めるべき要件
74. エンタープライズ向け AI 開発者ツールの問題点（そして IKEA がどう関係するのか）
75. 階層型ストレージを用いたストリーミング機械学習
76. 機械学習のパフォーマンスとコストを最適化するためのベストプラクティス（Google Cloud）
77. リーンデータと機械学習運用
78. 本番環境で ML システムを実行するための簡潔なガイド：サイト信頼性エンジニア向けベストプラクティス
79. 実環境における AI エンジニアリングの実践 - SIG | より健全なデジタル世界のためのソフトウェア品質向上
80. SE-ML | 機械学習のエンジニアリング実践の現状 2020
81. 機械学習のための優れたソフトウェアエンジニアリング（GitHub リポジトリ）
82. サンプリングだけでは不十分です。代わりに ML データのプロファイルを作成しましょう
83. ML の再現性：重要な理由と実現方法
84. 本番環境における再現可能な機械学習の 12 要素
85. MLOps：自動化だけではありません
86. リーンデータサイエンス
87. データサイエンティストに必要なエンジニアリングスキル
88. DAGsHub ブログ。データサイエンスと機械学習のワークフロー、MLOps、オープンソースのデータサイエンスについての記事
89. スタートアップのデータサイエンスプロジェクトの流れ
90. Shopify におけるデータサイエンスエンジニアリング
91. 暗号資産経済に向けて、効率的な実行を備えた最先端の機械学習技術を構築する
92. 機械学習のループを完結させる
93. 機械学習モデルのデプロイ：チェックリスト
94. MLOps と ML ツールのグローバルな全体像（MLReef 著）
95. すべてのデータサイエンスチームが MLOps に本腰を入れるべき理由
96. MLOps の価値（Bart Grasza 著）
97. 機械学習システム設計（Chip Huyen 著）
98. ML システムの設計（Stanford | CS 329 | Chip Huyen）
99. COVID-19 が AI モデルにどのような影響を与えたか（データドリフトやモデルドリフトの概念について）
100. 機械学習ライブラリのマイクロカーネルアーキテクチャ。Python のメタクラスを使ったマイクロカーネルアーキテクチャの例
101. 本番環境における機械学習：Booking.com のアプローチ
102. TWIMLcon 2021 に参加して学んだこと（James Le 著）
103. スタートアップ向け ML オーケストレーションシステムの設計。軽量で本番環境に対応した ML オーケストレーションシステムの構築事例
104. MLOps に向けて：機械学習プラットフォームの技術的機能 | Prosus AI Tech Blog
105. MLOps を始める：オープンソースツールを使った包括的な MLOps チュートリアル
106. DevOps から MLOPS へ：Jenkins と Docker を使って機械学習モデルを統合する
107. Pulumi、FastAPI、DVC、MLFlow などを基盤とした基本的な ML プラットフォームのサンプルコード
108. 機械学習のためのソフトウェアエンジニアリング：機械学習システムにおける不一致の特定と検出
109. TWIML ソリューションガイド
110. 大規模な機械学習の活用度を測るには？確認すべき 6 つの質問
111. MLOps を始める：ユースケースに適した機能の選択
112. SEI の最新の取り組み：人工知能、DevSecOps、セキュリティインシデント対応
113. MLOps：究極のガイド。MLOps とその考え方に関するハンドブック
114. クラウド MLOps のエンタープライズ対応状況
115. 顧客ごとにモデルをトレーニングすべきか、それともすべての顧客に 1 つのモデルを使うべきか？
116. MLOps-Basics（GitHub リポジトリ） — raviraja 著
117. 新しいツールを導入しても MLOps の問題は解決しません
118. MLOps の優れたツール：選ぶ際のポイントと評価方法（NimbleBox.ai 著）
119. MLOps と DevOps の比較：詳細ガイド（NimbleBox.ai 著）
120. MLOps チームの立ち上げガイド（NimbleBox.ai 著）

# MLOps：ワークフロー管理

1. オープンソースのワークフロー管理ツール：Ploomber による調査
2. データサイエンスのワークフローに合った ML 実験トラッキングツールの比較方法（dagshub による記事）
3. 機械学習の実験をトラッキングするためのベストツール 15 選

MLOps：フィーチャーストア

クリックして展開！

1. 機械学習向けフィーチャーストアについての Medium ブログ
2. フィーチャーストアを使った MLOps
3. ML 向けフィーチャーストア
4. Hopsworks：フィーチャーストアを使ったデータ集約型 AI
5. Feast：機械学習向けのオープンソースフィーチャーストア
6. フィーチャーストアとは？
7. ML フィーチャーストア：気軽な概説
8. データサイエンティストとビッグデータの専門家向けフィーチャーストアアーキテクチャの包括的なリスト
9. ML エンジニア向けガイド：フィーチャーストアとデータウェアハウスの比較（ベンダーブログ）
10. Redis、バイナリシリアライゼーション、文字列ハッシュ、圧縮によるギガスケール ML フィーチャーストアの構築（DoorDash ブログ）
11. フィーチャーストア：エンタープライズ AI にもたらすさまざまなメリット
12. 機械学習の基盤としてのフィーチャーストア
13. Lyft における ML フィーチャーサービングインフラストラクチャ
14. セルフサービス型機械学習向けフィーチャーストア
15. 機械学習モデルにおけるフィーチャー管理を改善するために LinkedIn が採用したアーキテクチャ
16. 虹の向こうにフィーチャーストアはあるのか？ユースケースに合ったフィーチャーストアの選び方

MLOps：データエンジニアリング（DataOps）

クリックして展開！

1. 2020年のデータ品質の現状 – O’Reilly
2. ML データに DevOps が必要な理由
3. 機械学習のためのデータ準備（7日間のミニコース）
4. データクリーニングのベストプラクティス：データ収集の前後に必要なすべてを網羅した完全ガイド。
5. データ、ビッグデータ、さらに大きなデータに対処する17の戦略
6. DataOps のデータアーキテクチャ
7. データオーケストレーション入門
8. 2020年に注目すべき4つのデータトレンド
9. CSE 291D / 234：機械学習のためのデータシステム
10. 現代のデータエンジニアリングを取り巻く環境の全体像
11. GitHub Actions と Great Expectations を使ったデータの継続的インテグレーション。データパイプラインの CI/CD に一歩近づく
12. 最新のデータインフラストラクチャにおける新たなアーキテクチャ
13. Awesome Data Engineering。データエンジニアになるための学習パスとリソース
14. Airbnb のデータ品質 パート1 | パート2
15. DataHub：一般的なメタデータアーキテクチャの解説
16. Financial Times のデータプラットフォーム：ゼロから一流へ。データプラットフォームの進化を詳しく解説
17. Alki、あるいは冷たいメタデータを心配するのをやめて愛するようになった経緯（Dropbox）
18. クリーンデータ入門。データ品質の問題を見つけて回避するための実践的なアドバイス（Benjamin Greve 著）
19. ML Lake：機械学習のための Salesforce のデータプラットフォーム構築
20. Data Catalog 3.0：最新のデータスタックのための最新のメタデータ
21. メタデータ管理システム
22. データエンジニアに必須のリソース（スケーラブルなデータ処理に関するおすすめの読み物・視聴リスト）
23. 包括的でわかりやすいデータカタログ：メタデータ管理の何を、誰が、どこで、いつ、なぜ、どのように（論文）
24. DataOps Unleashed 2021 に参加して学んだこと（James Le 著）
25. 第一原理から取り組む、より良いデータ文化に向けた Uber の道のり
26. Cerberus - Python 用の軽量で拡張可能なデータ検証ライブラリ
27. AWS Lake Formation と AWS Glue を使用したデータメッシュアーキテクチャの設計。AWS ビッグデータブログ
28. 本番環境の機械学習におけるデータ管理の課題（スライド）
29. データディスカバリーおよびオブザーバビリティプラットフォームに欠けている要素：メタデータのオープン標準
30. 大規模なデータ保護の自動化
31. 優れたパイプラインツールキットの厳選リスト
32. データメッシュアーキテクチャ
33. 機械学習におけるデータ探索の必須ガイド（NimbleBox.ai 著）
34. Cleanlab で数百万件のラベルエラーを発見する

# MLOps：モデルのデプロイとサービング

クリックして展開！

1. すべての人のための AI インフラストラクチャ：DeterminedAI
2. MLflow と Docker を使用した R モデルのデプロイ
3. 機械学習モデルをデプロイするとはどういうことか？
4. 機械学習デプロイのためのソフトウェアインターフェース
5. 機械学習デプロイのためのバッチ推論
6. ML インフラストラクチャの AWS コスト最適化 - EC2 の支出
7. 機械学習と AI の CI/CD
8. Itaú Unibanco：Kubeflow でオンライン学習を用いた機械学習用 CI/CD パイプラインを構築した方法
9. ML モデルサービング入門
10. 機械学習モデルを本番環境にデプロイする — 推論サービスのアーキテクチャパターン
11. サーバーレス ML：軽量モデルを大規模にデプロイする
12. ML モデルの本番環境へのロールアウト。パート 1 | パート 2
13. Flask、Docker、Kubernetes を使用した Python ML モデルのデプロイ
14. Bodywork を使用した Python ML モデルのデプロイ
15. 成功する継続学習戦略のためのフレームワーク。モデルはいつ再学習すべきか？どのデータを使うべきか？何を再学習すべきか？データに基づくアプローチ
16. 効率的な機械学習推論。レイテンシーが重要な場合のマルチモデルサービングの利点
17. Infrastructure as Code を使用して Hugging Face ML モデルをクラウドにデプロイする

MLOps：テスト、モニタリング、メンテナンス

クリックして展開！

1. 運用状況を可視化するダッシュボードの構築（AWS）
2. 本番環境における機械学習モデルの監視
3. 機械学習システムの効果的なテスト
4. データの単体テストとは？ その方法は？
5. 機械学習のコードとシステムをテストする方法 (付属コード)
6. Wu, T., Dong, Y., Dong, Z., Singa, A., Chen, X. and Zhang, Y., 2020. Testing Artificial Intelligence System Towards Safety and Robustness: State of the Art. IAENG International Journal of Computer Science, 47(3).
7. マルチアームド・バンディットとStitch Fixの実験プラットフォーム
8. 機械学習モデルのA/Bテスト
9. 機械学習のためのデータ検証。Polyzotis, N., Zinkevich, M., Roy, S., Breck, E. and Whang, S., 2019. Proceedings of Machine Learning and Systems
10. 機械学習ベースのシステムのテスト：体系的なマッピング
11. 説明可能なモニタリング：状況を把握できないままの運用をやめ、AIを監視しましょう
12. WhyLogs：MLシステム全体でデータロギングを取り入れる
13. Evidently AI。本番環境で機械学習を行うための知見。（ベンダーブログ）
14. AIを包括的に監視するための決定版ガイド
15. 機械学習の単体テスト入門
16. 本番環境における機械学習の監視：外れ値、ドリフト、説明、統計的パフォーマンス
17. MLOpsにおけるテスト駆動開発 第1部
18. ドメイン固有の機械学習モニタリング
19. MLモデルのパフォーマンス管理の紹介（fiddlerのブログ）
20. MLオブザーバビリティとは？（Arize AI）
21. モニタリングを超えて：オブザーバビリティの台頭（Arize AI & Monte Carlo Data）
22. モデルの障害モード（Arize AI）
23. MLのためのデータ品質モニタリング入門（Arize AI）
24. 本番環境におけるモデルパフォーマンス監視のプレイブック（Arize AI）
25. プロパティベースのドメインカバレッジテストによる堅牢なML（Efemaraiのブログ）
26. 本番環境におけるモデルの監視と説明可能性
27. モニタリングを超えて：オブザーバビリティの台頭
28. MLモデルの監視：現場からの9つのヒント（NU bank）
29. LinkedInにおけるモデルの健全性保証。LinkedIn Engineering著
30. ディープラーニングのコードを信頼する方法 (付属コード)
31. 正解データなしで回帰モデルのパフォーマンスを推定する (NannyMLを使用)
32. 機械学習におけるハイパーパラメータチューニングの仕組み（NimbleBox.ai）

# MLOps：インフラストラクチャとツール

クリックして展開してください！

1. MLOps インフラストラクチャスタックのキャンバス
2. 機械学習における標準スタックの台頭。支配的な新しいソフトウェアスタックが、次世代の最先端 AI アプリを実現する仕組み
3. AI Infrastructure Alliance。AI/ML の標準スタックを構築する
4. Linux Foundation AI Foundation
5. 本番環境向け ML インフラストラクチャツール | パート 1 — 本番環境の ML — モデルワークフローの最終段階 | パート 2 — モデルのデプロイとサービング
6. MLOps スタックテンプレート（valohai 提供）
7. MLOps ツールの全体像を把握する
8. MLOps.toys が厳選した MLOps プロジェクトのリスト（Aporia 提供）
9. クラウド MLOps プラットフォームの比較：元 AWS SageMaker プロダクトマネージャーによる解説
10. 機械学習エコシステム入門（Arize AI のホワイトペーパー）
11. 最適な MLOps スタックの選択：利点と課題。Intellerts 提供
12. リアルタイム機械学習推論のためのインフラストラクチャ設計。Databricks ブログ
13. 2021 年 AI インフラストラクチャ調査の結果
14. AI インフラストラクチャ成熟度マトリックス
15. 厳選された最高のオープンソース MLOps ツール集。Censius 提供
16. ML ライフサイクルを管理するためのおすすめ MLOps ツール（NimbleBox.ai 提供）
17. MLOps に最低限必要な必須要件

MLOps 論文

2015 年以降の機械学習の運用化に関する、学術および産業分野の論文とリソースの一覧です。詳細を見る。

MLOps に関する講演

クリックして展開！

1. 「MLOps：自動化された機械学習」Emmanuel Raj
2. DeliveryConf 2020。「機械学習の継続的デリバリー：パターンと課題」Emily Gorcenski
3. MLOps Conference：2019 年の講演
4. Kubecon 2019：Flyte：クラウドネイティブな機械学習およびデータ処理プラットフォーム
5. Kubecon 2019：Lyft における Kubernetes 上での大規模なステートフルワークロードの実行
6. 大規模な本番環境の機械学習に向けた CI/CD フレームワーク（Jenkins X と Seldon Core を使用）
7. MLOps バーチャルイベント（Databricks）
8. MLOps NY カンファレンス 2019
9. MLOps.community YouTube チャンネル
10. MLinProduction YouTube チャンネル
11. Databricks でエンドツーエンドの機械学習を実現する MLflow の紹介。Spark+AI Summit 2020。Sean Owen
12. MLOps チュートリアル #1：ML の継続的インテグレーション入門
13. 高速な機械学習：リアルタイムデータストリームにおける ML の運用化（2019）
14. Damian Brady - MLops という新興分野
15. MLOps - 設計、開発、運用（INNOQ Podcast、ドイツ語）
16. 機械学習モデルの計装、可観測性、モニタリング
17. 効率的な ML エンジニアリング：ツールとベストプラクティス
18. Jupyter Notebook の先へ：データサイエンス製品の構築方法
19. Google Cloud での MLOps 入門（最初の 19 分は、ベンダー、言語、フレームワークに依存しません。@visenger）
20. ML の障害：ある大規模 ML パイプラインで発生した 10 年間の停止
21. クリーンな機械学習コード：実践的なソフトウェアエンジニアリング
22. 機械学習エンジニアリング：10 の基本的な実践
23. 機械学習システムのアーキテクチャ（全 3 回）
24. 機械学習デザインパターン
25. 本番環境へのモデルデプロイの手法とアプローチを取り上げるプレイリスト
26. ML の可観測性：責任ある AI を実現するための重要な要素（Re-Work での Arize AI）
27. ML エンジニアリングとデータサイエンスの比較（Arize AI Un/Summit）
28. ML の SRE：最初の 10 年と次の 10 年
29. 本番環境における機械学習の謎を解き明かす：大規模 ML プラットフォームについて考える
30. Apply Conf 2022
31. Databricks Data + AI Summit 2022
32. RE•WORK MLOps Summit 2022
33. 年次 MLOps World Conference

既存の ML システム

クリックして展開してください！

1. FBLearner Flow の紹介：Facebook の AI 基盤
2. TFX：TensorFlow ベースの本番規模の機械学習プラットフォーム
3. ML とデータのワークフローを本番環境へ：Flyte
4. Kubeflow Pipelines を始める
5. Michelangelo の紹介：Uber の機械学習プラットフォーム
6. Meson：Netflix のレコメンデーション向けワークフローオーケストレーション
7. Azure Machine Learning パイプラインとは？
8. Uber ATG の自動運転車向け機械学習インフラストラクチャ
9. ML 開発プラットフォームの概要
10. Snorkel AI：ML 開発でデータを最優先に
11. エンドツーエンドの機械学習プラットフォームをめぐる
12. WhyLabs の紹介：AI の信頼性を大きく前進させる
13. プロジェクト：Ease.ml（ETH Zürich）
14. Bodywork：モデルのトレーニングとデプロイの自動化
15. ML プラットフォームに関する教訓 — Netflix、DoorDash、Spotify などから
16. 本番環境のデータサイエンスと機械学習に関する取り組みを共有する企業の論文と技術ブログ。Eugen Yan による
17. さまざまなテック企業は社内 ML プラットフォームの構築にどう取り組んでいるか？（ツイート）
18. 宣言型機械学習システム
19. ストリーミング機械学習モデル：ING が Apache Flink で実行時に不正検知モデルを追加する方法

機械学習

クリックして展開してください！

1. 書籍：Aurélien Géron著、「Hands-On Machine Learning with Scikit-Learn and TensorFlow」
2. 機械学習の基礎
3. 機械学習を学ぶためのおすすめリソース
4. Awesome TensorFlow
5. 「Papers with Code」- 機械学習の最先端を探る
6. Zhi-Hua Zhou著。2012年。Ensemble Methods: Foundations and Algorithms。Chapman & Hall/CRC。
7. 機械学習のための特徴量エンジニアリング。データサイエンティストのための原則と手法。Alice Zheng、Amanda Casari著
8. Google Research：2019年を振り返り、2020年以降を展望する
9. O’Reilly：Software 2.0への道
10. 産業界における機械学習とデータサイエンスの応用
11. 異常検知のためのディープラーニング
12. モバイルキーボード予測のための連合学習
13. 連合学習：デバイス上のデータを活用し、プライバシーをデフォルトで保護しながら、より良い製品を構築する
14. 連合学習：集中型の訓練データを使わない協調型機械学習
15. Yang, Q., Liu, Y., Cheng, Y., Kang, Y., Chen, T. and Yu, H., 2019. Federated learning. Synthesis Lectures on Artificial Intelligence and Machine Learning, 13(3). 第1章および第2章。
16. FastForwardによる連合学習
17. 連合型・分散型機械学習カンファレンス
18. 連合学習：課題、手法、今後の方向性
19. 書籍：Molnar, Christoph著。「Interpretable machine learning. A Guide for Making Black Box Models Explainable」、2019年
20. 書籍：Hutter, Frank、Lars Kotthoff、Joaquin Vanschoren著。「Automated Machine Learning」。Springer、2019年。
21. トピック別の機械学習リソース。コミュニティによる厳選。
22. 機械学習の解釈可能性入門、Patrick Hall、Navdeep Gill著、第2版。O'Reilly、2019年
23. 解釈可能な機械学習（ML）モデルの訓練、MLモデルの説明、精度、公平性、セキュリティの観点からのMLモデルのデバッグに用いる手法の例。
24. 論文：「Machine Learning in Python: Main developments and technology trends in data science, machine learning, and artificial intelligence」、Sebastian Raschka、Joshua Patterson、Corey Nolet著。2020年
25. Distill：機械学習の研究
26. AtHomeWithAI：DeepMindによる厳選リソースリスト
27. Awesome Data Science
28. 確率的プログラミング入門。Tensorflow-Probability（TFP）を使ったユースケース
29. Snorkelを使ってみる：ドイツ語テキストでの弱教師あり学習。inovexブログ
30. Dive into Deep Learning。コード、数学、ディスカッションを含むインタラクティブなディープラーニングの書籍。NumPy/MXNet、PyTorch、TensorFlowによる実装を紹介
31. データサイエンスのリソース集（GitHubリポジトリ）
32. 図解付き機械学習チートシート集
33. Alexey Grigorev著「Machine Learning Bookcamp」
34. 解説付き機械学習プロジェクト130選
35. 機械学習チートシート
36. Stateoftheart AI。AIの協調的な開発を促進するため、研究コミュニティが構築したオープンデータの無料プラットフォーム
37. オンライン機械学習コース：2020年版
38. エンドツーエンドの機械学習ライブラリ
39. 機械学習ツールボックス（Amit Chaudhary作）
40. 機械学習のための因果性
41. 勇者のための因果推論
42. 因果推論
43. 統計学、データサイエンス、物理学における因果性のリソースリスト
44. データから学ぶ。Caltech
45. 機械学習用語集
46. 書籍：「Distributed Machine Learning Patterns」。2022年。Yuan Tang著。Manning
47. 初心者向け機械学習 - カリキュラム
48. 機械学習と親しくなる。Cassie Kozyrkov著
49. 機械学習ワークフロー - 完全ガイド（NimbleBox.ai作）
50. 機械学習プロジェクトで監視すべきパフォーマンス指標（NimbleBox.ai作）

ソフトウェアエンジニアリング

クリックして展開！

1. The Twelve Factors
2. 書籍「Accelerate: The Science of Lean Software and DevOps: Building and Scaling High Performing Technology Organizations」、Nicole Forsgren ほか著、2018年
3. Gene Kim ほか著「The DevOps Handbook」、2016年
4. 2019年のDevOpsの現状
5. 機械学習とデータサイエンス向けに応用したClean Codeのコンセプト。
6. SREスクール
7. 人々が無視するソフトウェアエンジニアリングの10の法則
8. スケーラブルで信頼性が高く、高性能な大規模システムのパターン
9. 秘密知識の書
10. コンウェイの法則の諸相
11. データサイエンティストのためのエンジニアリングプラクティス

ML/AIのプロダクトマネジメント

クリックして展開！

1. AIのプロダクトマネジメントについて知っておくべきこと。AIのプロダクトマネージャーは、従来のPMが行うすべてのことに加えて、さらに多くのことを行います。
2. AIプロダクトを市場に投入する。これまでの記事では、AIプロダクトマネジメントの基本を説明してきました。ここでは核心に迫ります。プロダクトを市場に投入するにはどうすればよいでしょうか？
3. 人間＋AIガイドブック
4. ユーザーニーズ＋成功の定義
5. 機械学習プロダクトの構築：問題を適切に定義すれば、問題の半分は解決したも同然です。
6. 講演：優れたML体験のデザイン（Apple）
7. プロダクトマネージャーのための機械学習
8. Wardleyマッピングを通じたデータ環境の理解と戦略的な展開
9. プロダクトや機能を横断して機械学習システムのプロトタイプを作成する手法
10. 機械学習とユーザーエクスペリエンス：いくつかの参考資料
11. AIアイデア創出キャンバス
12. AIにおけるアイデア創出
13. ビジネス向け機械学習モデルを構築する5つのステップ。Shopifyエンジニアリングチームによる
14. データサイエンティストとビジネスリーダーのための指標設計

ML/AIの経済学

クリックして展開！

1. 書籍：「Prediction Machines: The Simple Economics of Artificial Intelligence」
2. 書籍：David Carmona 著「The AI Organization」
3. 書籍：「Succeeding with AI」。2020年。Veljko Krunic 著。Manning Publications
4. AIと経済に関する記事一覧
5. Gartner AI Trends 2019
6. グローバルAI調査：AIの価値は実証されたが、影響を拡大できている企業は少数
7. AIを始めるには？まずはこちらから！プロジェクトに取り組むために知っておくべきこと
8. 機械学習プロジェクトを成功させるために、始める前に尋ねるべき11の質問
9. AIにまだできないこと
10. AIの謎を解き明かす 第4回：AIキャンバスとは何か、どう使うのか？
11. プロジェクトを始めるためのデータサイエンス・ワークフローキャンバス
12. あなたのAIプロジェクトは実現の見込みがありませんか？苦労して学ぶことを避けるための現実チェックリスト
13. ほとんどのMLプロジェクトが失敗する最大の理由とは？
14. 優れたデータプロダクトの設計。ドライブトレイン・アプローチ：データプロダクトを構築するための4段階のプロセス。
15. AIの新しいビジネス（従来のソフトウェアとの違い）
16. AIスタートアップのアイデア迷路
17. エンタープライズAIの課題：よくある誤解
18. 誤解その1（全5回）：エンタープライズAIは主にテクノロジーの問題である
19. 誤解その2（全5回）：自動機械学習によってエンタープライズAIが実現する
20. MLを活用した製品を設計するための3つの原則
21. 機械学習の問題を定義するためのステップバイステップガイド
22. エンタープライズにおけるAI導入 2020
23. MLOpsの導入は、企業のML文化にどのように役立つのか？
24. 組織にAIを組み込む
25. AIが失敗したときにすべきこと
26. 機械学習の問題定義入門
27. AIのユースケースを特定するための体系的なアプローチ
28. 書籍：Doug Hudgeon、Richard Nichol 著「Machine Learning for Business」、O'reilly
29. 商用人工知能製品が拡大しない理由（FemTech）
30. Google Cloud のAI導入フレームワーク（ホワイトペーパー）
31. データサイエンスのプロジェクト管理
32. 書籍：Marco Iansiti、Karim R. Lakhani 著「Competing in the Age of AI」。Harvard Business Review Press。2020年
33. スタートアップがAIについて尋ねるべき3つの質問。最初の質問：本当にAIが必要ですか？
34. 裾野を制する：AIの経済性を改善するための取り組み
35. AIエンジニアリング導入のリスク管理
36. AI救世主主義をなくす
37. データサイエンスプロジェクトが失敗する理由をまとめた記事集
38. Andrew Ng による、最初のAIプロジェクトの選び方
39. AIの目標設定方法
40. 組織学習でAIの影響を拡大する
41. ポチョムキン・データサイエンス
42. AIに投資すべきでないのはどんなときか？
43. 機械学習モデルの90％が市場に出ない理由。多くの企業には、経営陣の支援、チーム間の効果的なコミュニケーション、アクセス可能なデータが不足しています

# モデルガバナンス、倫理、責任ある AI

このトピックは、新しい Awesome ML Model Governace リポジトリに移行しました。

MLOps：人とプロセス

クリックして展開！

1. ML チームの規模を拡大する（0～10 人）
2. Knowledge Repo プロジェクトは、データサイエンティストとその他の技術職の間で知識を共有しやすくすることを目的としています。
3. Airbnb における知識共有の拡大
4. 企業内でデータサイエンスチームを統合するモデル：比較分析
5. Why、What、How フレームワークでよりよい文章を書く方法。データサイエンス／機械学習プロジェクトの設計ドキュメントの書き方（Eugene Yan 著）
6. テクニカルライティング講座
7. 成長中期のスタートアップでデータチームを構築する：短い物語。Erik Bernhardsson 著
8. 企業における人工知能がもたらす文化的なメリット。Sam Ransbotham、François Candelon、David Kiron、Burt LaFountain、Shervin Khodabandeh 著

MLOps、機械学習、データサイエンスなどに関するニュースレター

クリックして展開！

1. ML in Production のニュースレター
2. MLOps.community
3. Andriy Burkov のニュースレター
4. Cassie Kozyrkov による Decision Intelligence
5. データサイエンスに関する Laszlo のニュースレター
6. Data Elixir のニュースレター。機械学習、データ可視化、分析、戦略を取り上げ、ウェブ上から選りすぐったデータサイエンス情報を毎週お届けします。
7. Tristan Handy による The Data Science Roundup
8. データサイエンスに関する Vicki Boykis のニュースレター
9. KDnuggets のニュース
10. Analytics Vidhya。ビジネス分析、データサイエンス、ビッグデータ、データ可視化のツールや手法に関する質問はこちら
11. Data Science Weekly Newsletter：データサイエンス関連の厳選ニュース、記事、求人を毎週お届けする無料ニュースレター
12. The Machine Learning Engineer Newsletter
13. Gradient Flow は、最新の技術トレンドやツールを深く掘り下げて取り上げ、分析や洞察を提供することで、常に一歩先を行くための情報をお届けします。機械学習と AI に焦点を当て、データ、テクノロジー、ビジネスの最新情報をご覧ください。
14. Nathan Benaich による AI ガイド。AI 技術、地政学、研究、スタートアップに関する月次分析をお届けします。
15. O'Reilly Data & AI Newsletter
16. Andrew Ng による deeplearning.ai のニュースレター
17. Deep Learning Weekly
18. Import AI は、1 万人を超える専門家が読む人工知能に関する週刊ニュースレターです。Jack Clark によるものです。
19. AI Ethics Weekly
20. 機械知能とデータサイエンスに関する週刊ニュースレター、Projects To Know のご案内
21. TWIML：機械学習と AI の今週のニュースレター
22. featurestore.org：ML のフィーチャーストアに関する月刊ニュースレター
23. DataTalks.Club コミュニティ：Slack、ニュースレター、ポッドキャスト、毎週のイベント
24. Machine Learning Ops Roundup
25. Eric Ma によるデータサイエンス・プログラミング・ニュースレター
26. Mikio L. Braun による Marginally Interesting
27. Synced
28. The Ground Truth：コンピュータービジョンの実務者向けニュースレター
29. SwirlAI：Aurimas Griciūnas による、データエンジニアリング、MLOps、データ全般に焦点を当てたニュースレター
30. Marvelous MLOps
31. Made with ML
32. MLOps Insights Newsletter：MLOps におけるモデルフィードバックの欠落、デプロイの再現性、サーバーレスなどを扱う全 8 回のシリーズ