共享 ADF 多团队独立部署的 Git 分支与 Azure DevOps CI/CD 策略
结论
如果只保留一个共享 ADF,ADF 原生只能做到工厂级发布,无法做到真正的团队级独立发布。ADF Git 集成的发布边界是整个 Data Factory 实例:ADF Studio 的 Publish 会把 collaboration branch 中的已发布资源生成到 adf_publish 分支,CI/CD 拿到的也是整个工厂的 ARM 模板。所以,每个团队可以各自提 PR,但很难在同一个 ADF 中只部署 A 团队已批准的管道,而不受 B 团队已合并内容影响。
如果独立部署是硬性要求,更受支持的做法是按团队或按发布边界拆分 ADF(每个环境可以有多个 ADF),或者让共享 ADF 走工厂级发布,并串行合并各团队变更。只靠分支策略和 Azure DevOps pipeline 改变不了 ADF 的发布边界。
为什么不建议从同一个共享 ADF 生成按团队拆分的产物
adf_publish由 ADF Studio 自动生成,包含整个工厂的 pipeline、dataset、linked service、trigger、integration runtime 等资源。- ADF 资源名称在工厂内全局唯一,没有团队级命名空间,资源之间还存在引用依赖。
- 可以写脚本按命名前缀筛选 ARM 模板的 resources,但这是自定义过滤,不是 ADF 支持的产品能力。脚本还要处理依赖闭包、全局参数、共享 linked service、trigger 启停等,容易漏资源或部署出半成品。
- 因此,从同一个 Git 仓库生成团队专属部署产物,技术上可以尝试,但不适合作为主方案。更稳妥的是让每个 ADF 对应自己的 Git 根目录和
adf_publish产物。
推荐方案 A:按发布边界拆分 ADF
如果独立部署必须满足,建议把“一个共享 ADF”调整为“共享仓库/共享平台资源 + 每团队独立 ADF”。每个 ADF 可以连接到同一个仓库的不同 root folder,也可以连接到各自仓库分支。每个 ADF 的 adf_publish 只包含本 ADF 的 ARM 模板,CI/CD 按 ADF 分别部署。分支策略如下:
main或collaboration:受保护,只接受 PR。feature/<team>/<ticket>:团队短分支,在 ADF Studio 中做可视化开发。- PR 必须包含团队负责人和平台负责人审批。
- TEST/PROD 只通过 Azure DevOps pipeline 部署,禁止在 ADF Studio 直接对 TEST/PROD 执行 Publish。
推荐方案 B:必须共享一个 ADF 时
只能采用工厂级发布加串行合并的策略:
main作为 ADF 的 collaboration branch,开启分支保护,禁止直接 push。- 各团队从
main拉feature/<team>/<ticket>,在 ADF Studio 中开发并提交 PR。 - 只有准备进入下一次工厂级发布的变更才允许合并到
main。如果 A 团队要先发布,就先不要合并 B 团队尚未准备发布的变更。 - 合并后在 ADF Studio 执行 Publish,生成
adf_publish;Azure DevOps pipeline 从adf_publish部署整厂 ARM 模板。 - 在 Azure DevOps 中为 TEST/PROD 配置 Environment approvals,部署前人工审批。
- 共享 linked service、integration runtime、global parameters 由平台团队统一维护,团队资源使用统一命名前缀,降低冲突。
这种模式能避免未批准的变更被合并后部署,但部署仍然是整个 ADF 一起发布,不是团队级独立发布。不要对 adf_publish 做 cherry-picking。
CI/CD 示例
以下 Azure DevOps YAML 从 adf_publish 部署 ARM 模板;实际路径、服务连接和参数需按环境调整。
trigger:
branches:
include:
- adf_publish
pool:
vmImage: ubuntu-latest
parameters:
- name: resourceGroup
default: rg-adf-prod
- name: dataFactoryName
default: adf-shared-prod
steps:
- checkout: self
- task: AzureResourceManagerTemplateDeployment@3
displayName: Deploy ADF ARM template
inputs:
deploymentScope: Resource Group
azureResourceManagerConnection: sc-adf-prod
subscriptionId: $(subscriptionId)
resourceGroupName: ${{ parameters.resourceGroup }}
location: East Asia
templateLocation: Linked artifact
csmFile: ARMTemplateForFactory.json
csmParametersFile: ARMTemplateParametersForFactory.json
overrideParameters: >-
-factoryName ${{ parameters.dataFactoryName }}
采用方案 A 时,把 pipeline 绑定到对应 ADF 的 adf_publish 分支或对应 root folder 的产物,再分别配置审批即可。
注意事项
- 不要手工修改
adf_publish分支,它是生成产物。 - 不要把 TEST/PROD 的 Publish 权限开放给所有开发人员,发布统一走 CI/CD。
- 共享 ADF 中 trigger 的启停要单独管理,避免部署时误启动生产触发器。
- 如果坚持自定义过滤 ARM 模板,必须把 pipeline 依赖的 dataset、linked service、integration runtime、global parameters 一并纳入,并在非生产环境充分验证。
- 如果所有要求都不能放宽,尤其是“一个共享 ADF”和“团队独立部署”同时为硬约束,应明确告知:ADF 原生能力不支持,需要接受自定义脚本带来的维护风险,或者调整架构。
备注:内容仅供参考。
