PAYATHON 2026

共享 ADF 多团队独立部署的 Git 分支与 Azure DevOps CI/CD 策略

数据小陈

结论

如果只保留一个共享 ADF,ADF 原生只能做到工厂级发布,无法做到真正的团队级独立发布。ADF Git 集成的发布边界是整个 Data Factory 实例:ADF Studio 的 Publish 会把 collaboration branch 中的已发布资源生成到 adf_publish 分支,CI/CD 拿到的也是整个工厂的 ARM 模板。所以,每个团队可以各自提 PR,但很难在同一个 ADF 中只部署 A 团队已批准的管道,而不受 B 团队已合并内容影响。

如果独立部署是硬性要求,更受支持的做法是按团队或按发布边界拆分 ADF(每个环境可以有多个 ADF),或者让共享 ADF 走工厂级发布,并串行合并各团队变更。只靠分支策略和 Azure DevOps pipeline 改变不了 ADF 的发布边界。

为什么不建议从同一个共享 ADF 生成按团队拆分的产物

  • adf_publish 由 ADF Studio 自动生成,包含整个工厂的 pipeline、dataset、linked service、trigger、integration runtime 等资源。
  • ADF 资源名称在工厂内全局唯一,没有团队级命名空间,资源之间还存在引用依赖。
  • 可以写脚本按命名前缀筛选 ARM 模板的 resources,但这是自定义过滤,不是 ADF 支持的产品能力。脚本还要处理依赖闭包、全局参数、共享 linked service、trigger 启停等,容易漏资源或部署出半成品。
  • 因此,从同一个 Git 仓库生成团队专属部署产物,技术上可以尝试,但不适合作为主方案。更稳妥的是让每个 ADF 对应自己的 Git 根目录和 adf_publish 产物。

推荐方案 A:按发布边界拆分 ADF

如果独立部署必须满足,建议把“一个共享 ADF”调整为“共享仓库/共享平台资源 + 每团队独立 ADF”。每个 ADF 可以连接到同一个仓库的不同 root folder,也可以连接到各自仓库分支。每个 ADF 的 adf_publish 只包含本 ADF 的 ARM 模板,CI/CD 按 ADF 分别部署。分支策略如下:

  • main 或 collaboration:受保护,只接受 PR。
  • feature/<team>/<ticket>:团队短分支,在 ADF Studio 中做可视化开发。
  • PR 必须包含团队负责人和平台负责人审批。
  • TEST/PROD 只通过 Azure DevOps pipeline 部署,禁止在 ADF Studio 直接对 TEST/PROD 执行 Publish。

推荐方案 B:必须共享一个 ADF 时

只能采用工厂级发布加串行合并的策略:

  1. main 作为 ADF 的 collaboration branch,开启分支保护,禁止直接 push。
  2. 各团队从 main 拉 feature/<team>/<ticket>,在 ADF Studio 中开发并提交 PR。
  3. 只有准备进入下一次工厂级发布的变更才允许合并到 main。如果 A 团队要先发布,就先不要合并 B 团队尚未准备发布的变更。
  4. 合并后在 ADF Studio 执行 Publish,生成 adf_publish;Azure DevOps pipeline 从 adf_publish 部署整厂 ARM 模板。
  5. 在 Azure DevOps 中为 TEST/PROD 配置 Environment approvals,部署前人工审批。
  6. 共享 linked service、integration runtime、global parameters 由平台团队统一维护,团队资源使用统一命名前缀,降低冲突。

这种模式能避免未批准的变更被合并后部署,但部署仍然是整个 ADF 一起发布,不是团队级独立发布。不要对 adf_publish 做 cherry-picking。

CI/CD 示例

以下 Azure DevOps YAML 从 adf_publish 部署 ARM 模板;实际路径、服务连接和参数需按环境调整。

trigger:
  branches:
    include:
      - adf_publish

pool:
  vmImage: ubuntu-latest

parameters:
  - name: resourceGroup
    default: rg-adf-prod
  - name: dataFactoryName
    default: adf-shared-prod

steps:
  - checkout: self

  - task: AzureResourceManagerTemplateDeployment@3
    displayName: Deploy ADF ARM template
    inputs:
      deploymentScope: Resource Group
      azureResourceManagerConnection: sc-adf-prod
      subscriptionId: $(subscriptionId)
      resourceGroupName: ${{ parameters.resourceGroup }}
      location: East Asia
      templateLocation: Linked artifact
      csmFile: ARMTemplateForFactory.json
      csmParametersFile: ARMTemplateParametersForFactory.json
      overrideParameters: >-
        -factoryName ${{ parameters.dataFactoryName }}

采用方案 A 时,把 pipeline 绑定到对应 ADF 的 adf_publish 分支或对应 root folder 的产物,再分别配置审批即可。

注意事项

  • 不要手工修改 adf_publish 分支,它是生成产物。
  • 不要把 TEST/PROD 的 Publish 权限开放给所有开发人员,发布统一走 CI/CD。
  • 共享 ADF 中 trigger 的启停要单独管理,避免部署时误启动生产触发器。
  • 如果坚持自定义过滤 ARM 模板,必须把 pipeline 依赖的 dataset、linked service、integration runtime、global parameters 一并纳入,并在非生产环境充分验证。
  • 如果所有要求都不能放宽,尤其是“一个共享 ADF”和“团队独立部署”同时为硬约束,应明确告知:ADF 原生能力不支持,需要接受自定义脚本带来的维护风险,或者调整架构。

备注:内容仅供参考。