mcpField
F
fabric-onelake-2025

fabric-onelake-2025

github.com/josiahsiegelデータ・データベース59158 回インストール19 週間前に更新
リポジトリ

fabric-onelake-2025 について

Azure Data FactoryとMicrosoft FabricのLakehouse、Warehouse、OneLakeを連携するためのスキルです。データパイプラインを構築するエンジニア向けに、コネクタの操作、認証、連携パターン、トラブルシューティングをまとめています。

主な機能

  1. 01LakehouseとWarehouseのコネクタ
  2. 02コピー、検索、メタデータ操作
  3. 03マネージドID認証のガイダンス
  4. 04OneLakeショートカットと増分ロードのパターン
  5. 05権限設定とトラブルシューティング

活用シーン

  1. 01Fabric Lakehouseへのデータコピー
  2. 02Fabric Warehouseへのロードとクエリ
  3. 03Fabricパイプラインを呼び出すワークフローの作成

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/josiahsiegel/claude-plugin-marketplace --skill fabric-onelake-2025

インストール後、Claude Code で/fabric-onelake-2025を入力して読み込まれたか確認します。

同梱ファイル

SKILL.md と一緒にインストールされる参考資料やスクリプト。

references/
lakehouse-examples.md
onelake-patterns.md
warehouse-examples.md

詳細

Azure Data Factory との Microsoft Fabric 統合（2025）

概要

Microsoft Fabric は、Power BI、Azure Synapse Analytics、Azure Data Factory の機能を組み合わせた統合型の SaaS 分析プラットフォームです。ADF は Fabric Lakehouse および Fabric Warehouse のネイティブコネクタを提供し、ADF と Fabric ワークスペース間でシームレスにデータを移動できます。

Microsoft Fabric Lakehouse コネクタ

Fabric Lakehouse コネクタを使用すると、Microsoft Fabric Lakehouse のテーブルとファイルに対して読み取りおよび書き込み操作を行えます。

サポートされるアクティビティ
アクティビティサポート状況
コピー アクティビティ（ソースおよびシンク）はい
Lookup アクティビティはい
Get Metadata アクティビティはい
Delete アクティビティはい
クイックリファレンス
  • リンクされたサービスの種類： Lakehouse
  • 認証： マネージド ID（推奨）またはサービス プリンシパル
  • 必須 ID： workspaceId および artifactId
  • シンクの種類： LakehouseTableSink（テーブル）、LakehouseFileSink（ファイル）
  • ソースの種類： LakehouseTableSource
  • テーブルのアクション オプション： append または overwrite

ワークスペース ID とアーティファクト ID の確認方法：

  1. ブラウザーで Fabric ワークスペースに移動します
  2. URL からワークスペース ID をコピーします：https://app.powerbi.com/groups/<workspaceId>/...
  3. Lakehouse の設定を開き、アーティファクト ID を確認します
  4. または Fabric REST API を使用して、ワークスペースのアイテムを一覧表示します

リンクされたサービス、データセット、コピー アクティビティの完全な JSON の例については、references/lakehouse-examples.md を参照してください。

Microsoft Fabric Warehouse コネクタ

Fabric Warehouse コネクタは、Fabric エコシステム内で T-SQL ベースのデータウェアハウジング機能を提供します。

サポートされるアクティビティ
アクティビティサポート状況
コピー アクティビティ（ソースおよびシンク）はい
Lookup アクティビティはい
Get Metadata アクティビティはい
Script アクティビティはい
Stored Procedure アクティビティはい
クイックリファレンス
  • リンクされたサービスの種類： Warehouse
  • 認証： システム割り当てマネージド ID（推奨）、ユーザー割り当て MI、またはサービス プリンシパル
  • 必須プロパティ： endpoint、warehouse
  • シンクの種類： WarehouseSink
  • 書き込み動作： insert または upsert
  • テーブル オプション： autoCreate（テーブルが存在しない場合に作成）

リンクされたサービス、コピー アクティビティ、ストアド プロシージャ、Script アクティビティの完全な JSON の例については、references/warehouse-examples.md を参照してください。

OneLake 統合パターン

ADF は OneLake との統合パターンを 3 つサポートしています。

パターン説明主なメリット
ADLS Gen2 ショートカットOneLake ショートカット経由で ADLS データを参照します（ゼロコピー）データの重複がありません
増分読み込みウォーターマークベースで Lakehouse に増分コピーします効率的な更新
クロスプラットフォーム呼び出しInvokePipeline アクティビティを使用して Fabric パイプラインを呼び出しますハイブリッド オーケストレーション

データがすでに ADLS Gen2 にある場合は、OneLake ショートカットが推奨される方法です。データを移動せずに、即座にゼロコピーでアクセスできます。データ変換や形式変換が必要な場合に限り、ADF コピー アクティビティを使用してください。

3 つすべてのパターンの完全なパイプライン JSON の例については、references/onelake-patterns.md を参照してください。

アクセス許可の構成

Fabric での Azure Data Factory マネージド ID のアクセス許可

Fabric Lakehouse の場合：

  1. Fabric ワークスペースを開きます
  2. ［ワークスペースの設定］->［アクセスの管理］に移動します
  3. ADF マネージド ID を Contributor ロールで追加します
  4. または、完全なアクセス権を付与するために Workspace Admin を割り当てます

Fabric Warehouse の場合：

  1. Warehouse SQL エンドポイントに移動します
  2. SQL を実行してユーザーを作成します：
CREATE USER [your-adf-name] FROM EXTERNAL PROVIDER;
ALTER ROLE db_datareader ADD MEMBER [your-adf-name];
ALTER ROLE db_datawriter ADD MEMBER [your-adf-name];
サービス プリンシパルのアクセス許可

アプリ登録の設定：

  1. Microsoft Entra ID でアプリを登録します
  2. クライアント シークレットを作成します（Key Vault に保存）
  3. Contributor ロールでアプリを Fabric ワークスペースに追加します
  4. Warehouse の場合は、上記の手順に従って SQL ユーザーを作成します

ベストプラクティス（2025）

  1. マネージド ID を使用する -- 単一の ADF にはシステム割り当て、複数にはユーザー割り当てを使用します。可能な限りサービスプリンシパルキーは避けてください。シークレットはすべて Key Vault に保存します。

  2. 大容量の読み込みではステージングを有効にする -- データ量が 1 GB を超える場合、複雑な変換を行う場合、または Fabric Warehouse に読み込む場合は、圧縮を使用してステージングします。

  3. OneLake ショートカットを活用する -- ADLS Gen2 -> OneLake Shortcut -> Direct Access を、ADLS Gen2 -> Copy Activity -> Lakehouse の代わりに使用します。データ移動がなく、すぐに利用でき、コストを削減できます。

  4. Fabric Capacity Units（CU）を監視する -- パイプライン実行ごとの CU 消費量、ピーク使用量、スロットリングを追跡します。増分読み込み、オフピーク時のスケジュール設定、適切な並列処理により最適化します。

  5. Table Option AutoCreate を使用する -- WarehouseSink に tableOption: "autoCreate" を設定すると、スキーマを自動的に管理でき、開発を高速化できます。

  6. エラー処理を実装する -- Copy アクティビティに再試行ポリシーを設定し、dependencyConditions: ["Failed"] を使って WebActivity ベースの失敗ログ記録を追加します。

よくある問題と解決策

問題エラーメッセージ解決策
アクセス許可が拒否されました"User does not have permission to access Fabric workspace"ADF のマネージド ID を Contributor として追加します。Warehouse の場合は SQL ユーザーを作成し、反映まで 5 分待ちます
エンドポイントが見つかりません"Unable to connect to endpoint"workspaceId/artifactId を確認します。ワークスペース URL を確認し、Lakehouse/Warehouse が一時停止されていないことを確認します
スキーマが一致しません"Column types do not match"tableOption: "autoCreate" を使用するか、translator で明示的な列マッピングを設定します
パフォーマンスの低下コピーのパフォーマンスが遅いステージングを有効にし、parallelCopies（4-8）と DIUs（8-32）を増やして、CU のスロットリングを確認します

リソース

段階的開示のリファレンス

  • Lakehouse の例: references/lakehouse-examples.md - リンクされたサービス、データセット、コピーアクティビティ、ルックアップの完全な JSON 例
  • Warehouse の例: references/warehouse-examples.md - リンクされたサービス、コピーアクティビティ、ストアドプロシージャ、スクリプトアクティビティの完全な JSON 例
  • OneLake のパターン: references/onelake-patterns.md - ショートカット、増分読み込み、クロスプラットフォームの Invoke Pipeline に関するパイプラインパターン

コメント

Markdown 対応