mcpField
D
databricks-2025

databricks-2025

github.com/josiahsiegel数据与数据库59164 次安装19 周前更新
代码仓库

关于 databricks-2025

databricks-2025 是面向 Azure Data Factory 实践者的技能，涵盖 Databricks 工作流编排与连接器配置。内容聚焦 Databricks Job 活动、托管标识建议及 2025 年连接器变化，并提供参考 JSON 示例。

主要功能

  1. 01Databricks Job 活动指南
  2. 02托管标识建议
  3. 03ServiceNow V2 迁移指南
  4. 04PostgreSQL 与 Snowflake 更新
  5. 05Mapping Data Flows Spark 3.3 说明
  6. 06Azure DevOps Server 2022 支持

适用场景

  1. 01设计运行 Databricks 作业的 ADF 管道
  2. 02将 ServiceNow 连接迁移到 V2
  3. 03为 Azure 数据服务配置身份

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/josiahsiegel/claude-plugin-marketplace --skill databricks-2025

安装后在 Claude Code 中输入/databricks-2025确认已加载。

附带文件references/connector-examples.mdreferences/databricks-job-examples.md

详细介绍

Azure Data Factory Databricks 集成 2025

Databricks 作业活动（2025 年推荐）

重要更新（2025 年）： Databricks 作业活动现已成为在 ADF 中编排 Databricks 的唯一推荐方法。Microsoft 强烈建议从旧版 Notebook、Python 和 JAR 活动迁移。

快速参考
  • 活动类型： DatabricksJob（而非 DatabricksSparkJob 或 DatabricksNotebook）
  • 参数属性： jobParameters（而非 parameters）
  • 链接服务身份验证： 推荐使用托管标识（"authentication": "MSI"）
  • 群集配置： 不要在链接服务中指定群集属性；由 Databricks 作业控制计算资源
为什么选择 Databricks 作业活动？
功能Notebook 活动（旧版）作业活动（2025）
计算资源必须在链接服务中配置群集默认使用无服务器计算
工作流任务单个 Notebook多任务 DAG（Notebook、Python、SQL、DLT）
重试仅限 ADF 级别作业级别 + 任务级别
修复运行不支持仅重新运行失败的任务
Git 集成有限完整的 Databricks Git 支持 + DAB
血缘无内置数据血缘
If/Else 逻辑必须使用 ADF 控制流原生 If/Else 任务类型
优势摘要
  1. 无服务器执行——无需指定群集；自动使用无服务器计算，启动更快、成本更低
  2. 高级工作流功能——以 Run As 身份运行、任务值、条件执行、AI/BI 任务、修复运行、通知、排队
  3. 集中式作业管理——在 Databricks 工作区中定义一次作业；以 Git 为后端进行版本控制，形成单一事实来源
  4. 成本优化——无服务器计算（仅按执行付费）、作业群集（自动终止）、支持竞价型实例

如需查看作业活动、链接服务和管道配置的完整 JSON 示例，请参阅 references/databricks-job-examples.md。

连接器和增强功能（2025 年及以后）

ServiceNow V2 连接器（推荐——V1 已停止支持）

ServiceNow V1 连接器已停止支持。请立即迁移到 V2。

功能V1V2
链接服务类型ServiceNowServiceNowV2
源类型ServiceNowSourceServiceNowV2Source
查询生成器自定义与 ServiceNow 条件生成器保持一致
性能标准增强型提取
OData 支持否是

迁移步骤： 将链接服务类型更新为 ServiceNowV2，将源类型更新为 ServiceNowV2Source，在 ServiceNow UI 条件生成器中测试查询，并调整超时设置。

增强型 PostgreSQL 连接器

通过 2025 年 SSL 增强功能提升性能：enableSsl: true、sslMode: "Require"。

增强型 Snowflake 连接器

通过支持 KeyPair 身份验证和 Key Vault 密钥集成提升性能。

Azure Storage 的托管标识

Azure Table Storage 和 Azure Files 连接器新增托管标识支持（系统分配和用户分配）。

映射数据流——Spark 3.3

映射数据流现由 Spark 3.3 提供支持，处理速度提升 30%，并支持自适应查询执行（AQE）、动态分区裁剪、改进的缓存和更完善的列统计信息。

Azure DevOps Server 2022 支持

Git 集成现可通过 hostName 属性支持本地部署的 Azure DevOps Server 2022。

如需查看所有连接器的完整 JSON 示例，请参阅 references/connector-examples.md。

托管标识 2025 年最佳实践

用户分配与系统分配
场景建议
单个 ADF，简单设置系统分配
多个数据工厂用户分配（共享标识）
复杂的多环境场景用户分配
精细的权限控制用户分配
标识生命周期独立管理用户分配

使用 ADF 的集中式 Credentials 功能，整合多个链接服务中基于 Microsoft Entra ID 的凭据。

MFA 强制要求（自 2025 年 10 月起强制执行）

Azure MFA 对所有交互式用户登录都是强制要求。对 ADF 的影响：

  • 托管标识不受影响——服务账户无需 MFA
  • 使用证书身份验证的服务主体是推荐的密钥替代方案
  • 所有交互式用户登录都需要 MFA
最小权限原则
资源源角色接收端角色
Storage BlobStorage Blob Data ReaderStorage Blob Data Contributor
SQL Databasedb_datareaderdb_datareader + db_datawriter
Key Vault仅 Get 密钥仅 Get 密钥

如需查看完整的托管标识 JSON 示例，请参阅 references/connector-examples.md。

最佳实践（2025）

  1. 使用 Databricks Job Activity（强制要求）——停止使用 Notebook、Python、JAR 活动。在 Databricks 工作区中定义工作流，并使用无服务器计算。

  2. 托管标识身份验证（强制要求）——对所有 Azure 资源使用托管标识。利用 Credentials 功能进行整合。自 2025 年 10 月起符合 MFA 要求。

  3. 监控作业执行情况——从 ADF 输出中跟踪 Databricks Job 运行 ID，记录参数以便审计，设置失败警报，并利用内置的数据沿袭功能。

  4. 优化 Spark 3.3（数据流）——启用 AQE，每个核心使用 4-8 个分区，对小型维度表使用广播联接，并启用动态分区裁剪。

资源

渐进式披露参考资料

  • Databricks Job 示例：references/databricks-job-examples.md - Job 活动、链接服务、管道和 Databricks 工作区作业定义的完整 JSON
  • 连接器示例：references/connector-examples.md - ServiceNow V2、PostgreSQL、Snowflake、Azure Storage MI、映射数据流和 Azure DevOps Server 的完整 JSON

评论

支持 Markdown