databricks-2025

Azure Data Factory Databricks Integration 2025

Databricks Job アクティビティ（2025 年推奨）

重要な更新（2025 年）： ADF で Databricks をオーケストレーションする方法として、Databricks Job アクティビティのみが推奨されるようになりました。Microsoft は、従来の Notebook、Python、JAR アクティビティからの移行を強く推奨しています。

クイックリファレンス

• アクティビティの種類： DatabricksJob（DatabricksSparkJob または DatabricksNotebook ではありません）
• パラメーターのプロパティ： jobParameters（parameters ではありません）
• リンクされたサービスの認証： マネージド ID（"authentication": "MSI"）を推奨
• クラスター構成： リンクされたサービスにクラスターのプロパティを指定しないでください。コンピューティングは Databricks Job で制御します

Databricks Job アクティビティを選ぶ理由

機能	Notebook アクティビティ（従来）	Job アクティビティ（2025 年）
コンピューティング	リンクされたサービスでクラスターを構成する必要があります	デフォルトでサーバーレス
ワークフローのタスク	単一のノートブック	マルチタスク DAG（ノートブック、Python、SQL、DLT）
再試行	ADF レベルのみ	ジョブレベル + タスクレベル
修復実行	非対応	失敗したタスクのみを再実行
Git 統合	限定的	Databricks Git の完全なサポート + DAB
リネージ	なし	データリネージが組み込み
If/Else ロジック	ADF の制御フローを使う必要があります	ネイティブの If/Else タスクタイプ

メリットの概要

1. サーバーレス実行 -- クラスターの指定は不要です。自動サーバーレスコンピューティングにより、起動が速く、コストも低くなります
2. 高度なワークフロー機能 -- Run As、Task Values、条件付き実行、AI/BI タスク、修復実行、通知、キューイング
3. ジョブ管理の一元化 -- ジョブは Databricks ワークスペースで一度だけ定義します。Git によるバージョン管理を備えた信頼できる唯一の情報源になります
4. コストの最適化 -- サーバーレスコンピューティング（実行分のみ課金）、ジョブクラスター（自動終了）、スポットインスタンスのサポート

Job アクティビティ、リンクされたサービス、パイプラインの JSON の完全な例については、references/databricks-job-examples.md を参照してください。

コネクタと機能強化（2025 年以降）

ServiceNow V2 コネクタ（推奨 - V1 はサポート終了）

ServiceNow V1 コネクタはサポート終了です。直ちに V2 に移行してください。

機能	V1	V2
リンクされたサービスの種類	ServiceNow	ServiceNowV2
ソースの種類	ServiceNowSource	ServiceNowV2Source
クエリビルダー	カスタム	ServiceNow の条件ビルダーに準拠
パフォーマンス	標準	抽出機能を強化
OData のサポート	なし	あり

移行手順： リンクされたサービスの種類を ServiceNowV2 に、ソースの種類を ServiceNowV2Source に更新し、ServiceNow UI の条件ビルダーでクエリをテストして、タイムアウトを調整してください。

PostgreSQL コネクタの機能強化

2025 年の SSL 機能強化によりパフォーマンスが向上しました：enableSsl: true、sslMode: "Require"。

Snowflake コネクタの機能強化

KeyPair 認証のサポートと Key Vault シークレットの統合により、パフォーマンスが向上しました。

Azure Storage のマネージド ID

Azure Table Storage および Azure Files コネクタで、新たにマネージド ID（システム割り当ておよびユーザー割り当て）がサポートされました。

マッピング データ フロー - Spark 3.3

マッピング データ フローで Spark 3.3 が使用されるようになり、処理が 30% 高速化したほか、Adaptive Query Execution（AQE）、動的パーティションの枝刈り、キャッシュの改善、列統計の向上が実現しました。

Azure DevOps Server 2022 のサポート

Git 統合では、hostName プロパティを使用したオンプレミスの Azure DevOps Server 2022 がサポートされるようになりました。

すべてのコネクタの JSON の完全な例については、references/connector-examples.md を参照してください。

マネージド ID の 2025 年ベストプラクティス

ユーザー割り当てとシステム割り当て

シナリオ	推奨
単一の ADF でシンプルなセットアップ	システム割り当て
複数のデータファクトリ	ユーザー割り当て（共有 ID）
複雑なマルチ環境	ユーザー割り当て
きめ細かなアクセス許可の制御	ユーザー割り当て
ID のライフサイクルの独立性	ユーザー割り当て

ADF の一元管理された Credentials 機能を使用して、複数のリンクされたサービスにわたる Microsoft Entra ID ベースの認証情報を統合します。

MFA の適用（2025 年 10 月以降に適用）

Azure MFA は、すべての対話型ユーザーログインで必須です。ADF への影響：

• マネージド ID は 影響を受けません -- サービスアカウントに MFA は不要です
• シークレットに代わる推奨の方法は、証明書認証を使用するサービスプリンシパルです
• すべての対話型ユーザーログインで MFA が必要です

最小権限の原則

リソース	ソースのロール	シンクのロール
Storage Blob	Storage Blob Data Reader	Storage Blob Data Contributor
SQL Database	db_datareader	db_datareader + db_datawriter
Key Vault	シークレットの Get のみ	シークレットの Get のみ

マネージド ID の JSON 例の全文については、references/connector-examples.md を参照してください。

ベストプラクティス（2025 年）

1. Databricks Job Activity を使用する（必須） -- Notebook、Python、JAR アクティビティの使用をやめてください。Databricks ワークスペースでサーバーレスコンピューティングを使用してワークフローを定義します。

2. マネージド ID 認証（必須） -- すべての Azure リソースでマネージド ID を使用します。統合には Credentials 機能を活用します。2025 年 10 月以降、MFA に準拠しています。

3. ジョブの実行を監視する -- ADF の出力から Databricks Job の実行 ID を追跡し、監査できるようにパラメーターをログに記録し、失敗時のアラートを設定し、組み込みのリネージを活用します。

4. Spark 3.3 を最適化する（Data Flows） -- AQE を有効にし、コアあたり 4～8 個のパーティションを使用し、小規模なディメンションにはブロードキャスト結合を使用し、動的パーティションプルーニングを行います。

リソース

• Databricks Job Activity
• ADF コネクタ
• マネージド ID 認証
• マッピングデータフロー

段階的な開示に関するリファレンス

• Databricks Job の例: references/databricks-job-examples.md - Job アクティビティ、リンクされたサービス、パイプライン、Databricks ワークスペースの Job 定義の完全な JSON
• コネクタの例: references/connector-examples.md - ServiceNow V2、PostgreSQL、Snowflake、Azure Storage MI、Mapping Data Flows、Azure DevOps Server の完全な JSON