adf-master

Azure Data Factory ナレッジベース（総合）

非推奨の機能

Apache Airflow ワークフローオーケストレーションマネージャー — 非推奨

ステータス： 2025 年初頭から非推奨です。既存のお客様のみ利用できます。 廃止日： まだ発表されていませんが、新規デプロイは許可されていません。 影響： 新規のお客様は Azure Data Factory で Apache Airflow をプロビジョニングできません。

非推奨の詳細：

• Apache Airflow ワークフローオーケストレーションマネージャーは、廃止日が未定のまま非推奨となっています
• 既存のデプロイのみ、この機能を引き続き使用できます
• ADF では、新しい Airflow 統合を作成できません

移行方法：

• 推奨： Airflow のネイティブサポートを備えた Fabric Data Factory に移行します
• 代替案： スタンドアロンの Apache Airflow デプロイ（Azure Container Instances、AKS、または VM ベース）を使用します
• 代替案： オーケストレーションロジックを、制御フローアクティビティを使用するネイティブ ADF パイプラインに移行します

非推奨となった理由：

• Microsoft の注力先が、統合データ統合プラットフォームである Fabric Data Factory に移りました
• Fabric は、Airflow 統合に取って代わる最新のオーケストレーション機能を提供します
• ADF のスタンドアロン Airflow 機能は、導入が限定的で保守の負担が大きいです

必要な対応：

• ADF で Airflow を使用している場合：Fabric Data Factory、スタンドアロン Airflow、またはネイティブ ADF パターンに移行します
• 新しいプロジェクトの場合：ADF で Airflow を使用しないでください
• 正式な廃止時期について、Microsoft の発表を確認してください

参照：

• Microsoft ロードマップ：https://www.directionsonmicrosoft.com/roadmaps/ref/azure-data-factory-roadmap/

機能の更新（2025～2026 年）

Microsoft Fabric 統合（一般提供）

Fabric での ADF のマウント：

• 既存の ADF パイプラインを再構築せずに Fabric ワークスペースに取り込めます
• 2025 年 6 月から一般提供されています
• シームレスな統合により、ADF と Fabric を組み合わせたワークフローが可能になります

ワークスペースをまたぐパイプラインオーケストレーション：

• 新しい Invoke Pipeline アクティビティで、プラットフォームをまたいだ呼び出しが可能になります
• Fabric、Azure Data Factory、Synapse をまたいでパイプラインを呼び出せます
• セキュリティで保護されたワークスペース間通信のための Managed VNet サポート

変数ライブラリ：

• CI/CD 自動化向けの環境固有の変数
• ワークスペースのプロモーション時に値を自動的に置換します
• 環境ごとに個別のパラメーターファイルを用意する必要がなくなります

コネクタの機能強化：

• ServiceNow V2（V1 はサポート終了）
• PostgreSQL および Snowflake コネクタの強化
• コピーなしの統合を実現する OneLake のネイティブ接続

CI/CD に必要な Node.js 20.x

重要： 2025 年現在、npm パッケージ @microsoft/azure-data-factory-utilities には Node.js 20.x が必要です

重大な変更：

• 古い Node.js バージョン（14.x、16.x、18.x）では、パッケージの互換性エラーが発生する可能性があります
• CI/CD パイプラインを更新し、Node.js 20.x または互換性のあるバージョンを使用してください

GitHub Actions：

- name: Setup Node.js
  uses: actions/setup-node@v4
  with:
    node-version: '20.x'

Azure DevOps：

- task: UseNode@1
  inputs:
    version: '20.x'

公式ドキュメントのソース

Microsoft Learn の主なリソース

メインのドキュメントハブ：

• URL：https://learn.microsoft.com/en-us/azure/data-factory/
• 最終更新日：2025 年 2 月
• 対象範囲：チュートリアル、概念、ハウツーガイド、リファレンス資料を含む ADF の全ドキュメント
• 主なトピック：パイプライン、データセット、トリガー、リンクされたサービス、データフロー、統合ランタイム、監視

Azure Data Factory の概要：

• URL：https://learn.microsoft.com/en-us/azure/data-factory/introduction
• 概要：複雑なハイブリッド ETL、ELT、データ統合プロジェクト向けのマネージドクラウドサービス
• 主な機能：90 種類以上の組み込みコネクタ、サーバーレスアーキテクチャ、コード不要の UI、単一画面での監視

Context7 ライブラリのドキュメント

ライブラリ ID： /websites/learn_microsoft_en-us_azure_data-factory

• 信頼度スコア：7.5
• コードスニペット：10,839 件
• トピック：CI/CD、ARM テンプレート、パイプラインパターン、データフロー、監視、トラブルシューティング

アクセス方法：

Use Context7 MCP tool to fetch latest documentation:
mcp__context7__get-library-docs:
  - context7CompatibleLibraryID: /websites/learn_microsoft_en-us_azure_data-factory
  - topic: "CI/CD continuous integration deployment pipelines ARM templates"
  - tokens: 8000

CI/CD デプロイ

ARM テンプレートの生成、PrePostDeploymentScript.ps1 パターン（デプロイ前後のトリガーの停止／開始、削除されたリソースのクリーンアップ）、GitHub Actions と Azure DevOps の完全なパイプライン YAML など、CI/CD の詳しい内容は references/cicd-deployment.md にあります。ADF インスタンスの継続的デプロイを設定するときや、デプロイパイプラインのトラブルシューティングを行うときは、このリファレンスを読み込んでください。

トラブルシューティングのリソース

公式トラブルシューティングガイド

URL： https://learn.microsoft.com/en-us/azure/data-factory/ci-cd-github-troubleshoot-guide 最終更新日： 2025年1月

対象となる一般的な問題：

1. テンプレートのパラメーター検証エラー
2. 統合ランタイムの種類を変更できない
3. ARM テンプレートのサイズが 4MB の上限を超える
4. Git 接続の問題
5. 認証の失敗
6. デプロイエラー

診断ログ

診断設定を有効にする：

Azure Portal → Data Factory → Diagnostic settings → Add diagnostic setting
Send to: Log Analytics workspace

Logs to Enable:
- PipelineRuns
- TriggerRuns
- ActivityRuns
- SandboxPipelineRuns
- SandboxActivityRuns

トラブルシューティング用 Kusto クエリ：

// Failed pipeline runs in last 24 hours
ADFPipelineRun
| where Status == "Failed"
| where TimeGenerated > ago(24h)
| project TimeGenerated, PipelineName, RunId, Status, ErrorMessage, Parameters
| order by TimeGenerated desc

// Failed CI/CD deployments
ADFActivityRun
| where ActivityType == "ExecutePipeline"
| where Status == "Failed"
| where TimeGenerated > ago(7d)
| project TimeGenerated, PipelineName, ActivityName, ErrorCode, ErrorMessage
| order by TimeGenerated desc

// Performance analysis
ADFActivityRun
| where TimeGenerated > ago(7d)
| extend DurationMinutes = datetime_diff('minute', End, Start)
| summarize AvgDuration = avg(DurationMinutes) by ActivityType, ActivityName
| where AvgDuration > 10
| order by AvgDuration desc

よくあるエラーパターン

エラー：「Template parameters are not valid」

• 原因：削除されたトリガーがパラメーター内で引き続き参照されています
• 解決策：ARM テンプレートを再生成するか、PrePostDeploymentScript のクリーンアップを使用します

エラー：「Updating property type is not supported」

• 原因：統合ランタイムの種類を変更しようとしています
• 解決策：IR を削除して再作成します（インプレース更新はできません）

エラー：「Operation timed out」

• 原因：ネットワーク接続、大量のデータ、不十分なコンピューティングリソース
• 解決策：タイムアウトを延長し、クエリを最適化して、DIU を増やします

エラー：「Authentication failed」

• 原因：サービスプリンシパルの有効期限切れ、アクセス許可の不足、認証情報の誤り
• 解決策：認証情報を確認し、ロールの割り当てを確認して、有効期限が切れている場合は更新します

ベストプラクティス

リポジトリの構成

推奨フォルダー構成：

repository-root/
├── adf-resources/          # ADF JSON files (if using npm approach)
│   ├── dataset/
│   ├── pipeline/
│   ├── trigger/
│   ├── linkedService/
│   └── integrationRuntime/
├── .github/
│   └── workflows/          # GitHub Actions workflows
│       ├── adf-build.yml
│       └── adf-deploy.yml
├── azure-pipelines/        # Azure DevOps pipelines
│   ├── build.yml
│   └── release.yml
├── parameters/             # Environment-specific parameters
│   ├── ARMTemplateParametersForFactory.dev.json
│   ├── ARMTemplateParametersForFactory.test.json
│   └── ARMTemplateParametersForFactory.prod.json
├── package.json            # npm configuration
└── README.md

Git の構成

Git は開発用 ADF のみで構成します：

• 開発：ソース管理のため Git と統合
• テスト：CI/CD デプロイのみ（Git なし）
• 本番：CI/CD デプロイのみ（Git なし）

理由： 上位環境での意図しない手動変更を防止します

複数環境の戦略

Environment Flow:
Dev (Git) → Build → Test → Approval → Production
            ↓
        ARM Templates

パラメーターの管理：

• 環境ごとにパラメーターファイルを分けます
• シークレットは Azure Key Vault に保存します
• パラメーターファイルで Key Vault を参照します
• シークレットをソース管理にコミットしないでください

監視とアラート

次の項目のアラートを設定します：

• ビルドパイプラインの失敗
• デプロイの失敗
• パイプライン実行の失敗
• パフォーマンスの低下
• コストの異常

推奨ツール：

• Azure Monitor（メトリックとアラート）
• Log Analytics（Kusto クエリ）
• Application Insights（カスタムログ用）
• Azure Advisor（最適化の推奨事項）

その他のリソース

GitHub リポジトリ

Azure Data Factory の公式サンプル：

• URL：https://github.com/Azure/Azure-DataFactory
• パス：SamplesV2/ContinuousIntegrationAndDelivery/
• 内容：PrePostDeploymentScript.Ver2.ps1、パイプラインの例、ドキュメント

コミュニティの例：

• 実際の使用例を探すには、GitHub で「azure-data-factory-cicd」を検索してください
• 多くの組織が参考として CI/CD パターンを公開しています

コミュニティサポート

Microsoft Q&A：

• URL：https://learn.microsoft.com/en-us/answers/tags/130/azure-data-factory
• 活発なコミュニティで、Microsoft の従業員も回答しています

Stack Overflow：

• タグ：azure-data-factory
• 解決済みの問題に関する豊富なナレッジベース

Azure の状態：

• URL：https://status.azure.com
• サービス停止やインシデントを確認できます

最新情報を取得するタイミング

最新のドキュメントが必要な状況：

1. npm パッケージのバージョン更新
2. 新しい ADF 機能またはアクティビティ
3. ARM テンプレートスキーマの変更
4. PrePostDeploymentScript の更新
5. 新しい GitHub Actions または Azure DevOps タスク
6. 破壊的変更または非推奨化

取得方法：

• WebFetch を使用して Microsoft Learn の記事を確認します
• npm で最新のパッケージバージョンを確認します
• Context7 を使用して、トピックを幅広く網羅した情報を取得します
• スクリプトの更新について、Azure Data Factory の GitHub を確認します

このナレッジベースを、Azure Data Factory に関するあらゆる質問の出発点として使用してください。本番環境に関する判断を行う際は、重要な情報を必ず最新の公式ドキュメントで確認してください。

段階的な情報開示のためのリファレンス

詳細な JSON スキーマと完全なリファレンス資料については、以下を参照してください。

• アクティビティの種類：references/activity-types.md - すべてのアクティビティの種類（Copy、ForEach、IfCondition、Switch、Until、Lookup、ExecutePipeline、WebActivity、DatabricksJob、SetVariable、AppendVariable、Wait、Fail、GetMetadata）の完全な JSON スキーマ
• 式関数：references/expression-functions.md - すべての ADF 式関数（文字列、コレクション、論理、変換、数学、日時、パイプライン／アクティビティの参照）の完全なリファレンス
• リンクされたサービス：references/linked-services.md - すべてのコネクターの種類（Blob Storage、ADLS Gen2、Azure SQL、Synapse、Fabric Lakehouse／Warehouse、Databricks、Key Vault、REST、SFTP、Snowflake、PostgreSQL）の完全な JSON 構成
• トリガー：references/triggers.md - スケジュール、タンブリングウィンドウ、イベントトリガーの完全な JSON スキーマ
• データセット：references/datasets.md - パラメーター化パターンを含む、すべてのデータセットの種類の完全な JSON スキーマ

機械学習と分析のパターンについては、専用のスキルを参照してください。

• ML と分析：adf-master:adf-ml-analytics - Azure ML パイプライン、バッチエンドポイント、Azure AI Services、Databricks ML／MLflow、SQL からストレージへのアーカイブ、データフローを使用した特徴量エンジニアリング