adf-ml-analytics

Azure Data Factory の機械学習と分析のパターン

概要

Azure Data Factory は、Azure Machine Learning、Azure AI Services、Databricks ML、Azure SQL Database と連携し、ML ワークフローをオーケストレーションします。このスキルでは、Azure SQL Database のような一時的なソースからデータを抽出して Azure Storage にアーカイブし、長期分析に利用するパターンと、ML サービスを活用してスコアリングやインサイトを得るパターンを取り上げます。

非推奨化のお知らせとプラットフォームの変更（2026 年 3 月現在）

Azure AI Foundry → Microsoft Foundry（2025 年 11 月）

• 2025 年 11 月の Ignite で、Microsoft は Azure AI Foundry を Microsoft Foundry に名称変更しました。
• Microsoft Foundry は、エージェント、ワークフロー、モデル、ツールを 1 つのリソースプロバイダーに統合した AI プラットフォームです。
• ADF は Microsoft Foundry 内の データオーケストレーションレイヤー として位置づけられており、データの取り込み、変換、特徴量の準備、モデルやエージェントによる下流での利用を担います。
• 新しい AI 機能は主に Fabric Data Factory で提供されています（Copilot、自然言語によるパイプラインの生成）。ADF classic は引き続き完全にサポートされますが、新機能の追加は減少しています。

Azure ML SDK v1 — 2026 年 6 月にサポート終了

• 非推奨化：2025 年 3 月 31 日。サポート終了：2026 年 6 月 30 日（3 か月後）。
• 影響：AzureMLExecutePipeline アクティビティは、SDK v1 の公開済みパイプラインを使用します。これらは 2026 年 6 月以降、動作しなくなります。
• 関連 SDK もサポート終了となります：azureml-train-core、azureml-pipeline、azureml-pipeline-core、azureml-pipeline-steps。
• 移行が必要です： WebActivity を介して Azure ML SDK v2 のバッチエンドポイントを使用してください（references/azure-ml-patterns.md を参照）。
• 新しいプロジェクトではすべて、公開済みパイプラインではなくバッチエンドポイントを使用してください。

Azure AI Inference SDK — 2026 年 5 月 30 日に廃止

• azure-ai-inference SDK（Python／JS／.NET）は非推奨です。
• OpenAI SDK に移行してください。 Azure OpenAI と Microsoft Foundry Models の両方で動作する OpenAI/v1 API を使用します。
• この変更は、推論 SDK を介して Azure AI モデルのエンドポイントを呼び出すすべてのコードに影響します。

Azure SQL Edge — 2025 年 9 月 30 日に廃止

• エッジデバイスでの ONNX PREDICT を含む Azure SQL Edge は、利用できなくなりました。
• 移行方法：エッジ SQL シナリオでは、Azure Arc 対応の Azure SQL Managed Instance を使用してください。

Power BI データフロー向け Cognitive Services — 廃止

• 廃止日：2025 年 9 月 15 日。Power BI データフローの AI Insights は、動作しなくなりました。
• 代替方法：ADF WebActivity を使用して、Azure AI Services のエンドポイントを直接呼び出してください。

Azure Cognitive Services — 名称変更

• 「Azure Cognitive Services」→「Azure AI Services」→ 現在は Microsoft Foundry の一部です。
• API エンドポイントに変更はありません。ブランド名が変更されました。

ADF の Apache Airflow — 非推奨

• 2025 年初頭、新規顧客向けに非推奨となりました。既存のデプロイは引き続き動作します。
• 移行方法：Fabric Data Factory、ADF のネイティブパイプライン、またはスタンドアロンの Airflow デプロイを使用してください。

統合パターンのクイックリファレンス

パターン	アクティビティの種類	概要	詳細
Azure ML (Legacy SDK v1)	AzureMLExecutePipeline	SDK v1 のリンクされたサービスを使用して、公開済みの ML パイプラインを実行します。サポートは 2026 年 6 月に終了するため、バッチエンドポイントに移行してください。	references/azure-ml-patterns.md を参照
Azure ML Batch Endpoints (SDK v2)	WebActivity	バッチ推論に推奨される方法です。REST 経由でバッチエンドポイントにジョブを送信し、Until ループで完了までポーリングします。	references/azure-ml-patterns.md を参照
Azure ML Online Endpoints	WebActivity	MSI 認証を使用して、マネージドオンラインエンドポイント経由で個々のレコードまたは小規模なバッチをリアルタイムでスコアリングします。	references/azure-ml-patterns.md を参照
T-SQL PREDICT	SqlServerStoredProcedure	データベース内で ONNX モデルをスコアリングします。SQL Server 2017 以降、SQL MI、Synapse で利用できます。Azure SQL Database では利用できません。	references/sql-archival-patterns.md を参照
sp_execute_external_script	SqlServerStoredProcedure	ML Services が有効な SQL Managed Instance 内で Python/R スクリプトを実行します。小規模から中規模のデータセットに適しています。	references/sql-archival-patterns.md を参照
SQL to Storage Archival	Copy (ForEach)	一時的な SQL データを Blob/ADLS Gen2 の Parquet にアーカイブします。フルスナップショットと増分ウォーターマークのパターンが含まれます。	references/sql-archival-patterns.md を参照
Azure AI Services	WebActivity	REST 経由で構築済みの AI（感情分析、異常検知、ビジョン）を呼び出します。API キーには Key Vault を使用します。ForEach でバッチスコアリングを行います。	references/ai-services-and-openai-patterns.md を参照
Azure OpenAI Batch API	WebActivity	50% 低いコストで LLM スコアリングを行います。JSONL をアップロードし、バッチジョブを作成して、完了までポーリングします。テキスト分類とエンリッチメントに最適です。	references/ai-services-and-openai-patterns.md を参照
Databricks ML	DatabricksJob	MLflow トラッキングを使用して、Databricks Jobs 経由で ML のトレーニングとバッチスコアリングをオーケストレーションします。SQL から抽出し、スコアリングして、書き戻します。	references/databricks-ml-and-e2e-patterns.md を参照
Data Flow Features	ExecuteDataFlow	ML スコアリングの前に、ウィンドウ関数、派生列、ピボット、フィルターを使った Spark ベースの特徴量エンジニアリングを行います。	references/databricks-ml-and-e2e-patterns.md を参照
End-to-End ML Pipeline	ExecutePipeline + Switch	Databricks のサブパイプラインを使用するモジュール型パイプラインです。アーカイブ -> 特徴量エンジニアリング -> トレーニングまたはスコアリング（Switch アクティビティ）を実行します。	references/databricks-ml-and-e2e-patterns.md を参照

---

ベストプラクティス

データアーキテクチャ

1. まずアーカイブし、後で分析する - ML の実行前に、一時的な SQL データを Parquet として Storage にコピーします
2. Parquet 形式を使用する - 列指向形式は ML ワークロードに最適です（圧縮、列のプルーニング）
3. 日付でストレージをパーティション分割する - バージョン管理されたアーカイブには snapshot_date=YYYY-MM-DD によるパーティション分割を使用します
4. コンテナーを分ける - 生データのアーカイブ、特徴量、モデル、スコアにはそれぞれ別のコンテナーを使用します

ML オーケストレーション

1. 複雑な ML（トレーニング、MLflow、分散コンピューティング）には Databricks Job アクティビティ を使用します
2. マネージド ML 推論には WebActivity + Azure ML batch endpoints を使用します（SDK v2）
3. コストを 50% 抑えた LLM スコアリング（テキスト分析、エンリッチメント）には WebActivity + Azure OpenAI Batch API を使用します
4. 構築済みの AI 機能（NLP、ビジョン、異常検知）には WebActivity + Azure AI Services を使用します
5. Spark ベースの変換が必要な場合は、特徴量エンジニアリングに Data Flows を使用します
6. アーカイブ -> 特徴量 -> トレーニング -> スコアリングの手順をモジュール化するには、Execute Pipeline パターン を使用します
7. データベース内でのスコアリングには T-SQL PREDICT を使用します（SQL Server/Managed Instance/Synapse のみ。Azure SQL Database では利用できません）

セキュリティ

1. すべての Azure サービス接続（ML ワークスペース、Storage、SQL）には Managed Identity を使用します
2. API キー（Azure AI Services、外部エンドポイント）には Key Vault を使用します
3. パイプライン JSON にシークレット、接続文字列、API キーをハードコードしないでください
4. 最小特権 - 必要なロールのみを付与します（ストレージには Blob Data Contributor、ML には ML ワークスペースのロール）

コストの最適化

1. メモリを大量に消費する場合を除き、データフローには汎用コンピューティングを使用します。
2. 変動する ML ワークロードには、Databricks のサーバーレスコンピューティングを使用します。
3. ML アクティビティには適切なタイムアウトを設定します（トレーニングには長時間かかる場合があります）。
4. レイテンシが許容される場合は、リアルタイム処理よりもバッチスコアリングを使用します（より安価で効率的です）。
5. 変更されていないデータの再コピーを避けるため、SQL からの増分抽出を使用します。

リソース

• ADF + Azure ML パイプラインの実行
• Azure ML バッチエンドポイント
• ADF からバッチエンドポイントを実行する
• SDK v1 パイプラインエンドポイントを v2 バッチエンドポイントに移行する
• Azure OpenAI グローバルバッチ API
• ADF Web アクティビティ
• ADF マッピングデータフロー
• Azure AI Services
• Microsoft Foundry
• Databricks ジョブアクティビティ
• AI Inference SDK を OpenAI SDK に移行する

追加の参考ファイル

詳細な JSON の例と実装パターンは、references/ ディレクトリにあります。

• references/azure-ml-patterns.md - Azure ML ExecutePipeline（レガシー SDK v1）、バッチエンドポイント（SDK v2）、オンラインエンドポイントの完全なアクティビティ JSON
• references/sql-archival-patterns.md - T-SQL PREDICT、sp_execute_external_script、完全／増分 SQL アーカイブパイプライン、ADLS Gen2 の構成、ストレージの整理
• references/ai-services-and-openai-patterns.md - Azure AI Services（センチメント、異常検知）、Azure OpenAI Batch API（JSONL のアップロード、ジョブの作成、ポーリング）、バッチスコアリングのパターン
• references/databricks-ml-and-e2e-patterns.md - Databricks の ML トレーニング／スコアリングパイプライン、データフローの特徴量エンジニアリング、Switch アクティビティを使用したエンドツーエンドの ML パイプライン