Jenkinsfile 如何在同一个 workspace 内并行执行任务?
技术问小赵
可以。做法是在 Jenkinsfile 里用 parallel 步骤,把并发任务放在外层 node/agent 内,并且不要在 parallel 的每个分支里再写 node 或 agent。这样所有分支都在同一个节点和同一个 executor 上下文里运行,也共用同一个 workspace。并发调度由 Jenkins 负责,实际下载仍交给 bat、powershell 或插件步骤完成。
原因
parallel 的分支本身不会创建新的 workspace。只有分支里又声明了 node/agent,Jenkins 才会为它申请 executor,这时就可能分配到不同的 workspace。所以如果希望所有任务共用一个 workspace,应把 parallel 放在外层 node 里,分支内只写具体步骤。
脚本式 Pipeline 示例
node('windows') {
parallel(
fileA: {
bat 'aws s3 cp s3://bucketA/fileA fileA'
},
fileB: {
bat 'aws s3 cp s3://bucketB/fileB fileB'
},
fileC: {
bat 'aws s3 cp s3://bucketC/fileC fileC'
}
)
bat 'java Build.java fileA fileB fileC'
}
Declarative Pipeline 示例
pipeline {
agent { label 'windows' }
stages {
stage('Download') {
steps {
script {
parallel(
fileA: { bat 'aws s3 cp s3://bucketA/fileA fileA' },
fileB: { bat 'aws s3 cp s3://bucketB/fileB fileB' },
fileC: { bat 'aws s3 cp s3://bucketC/fileC fileC' }
)
}
}
}
stage('Build') {
steps {
bat 'java Build.java fileA fileB fileC'
}
}
}
}
如果用 Declarative Pipeline 的 parallel stages,同样不要给每个并行 stage 单独写 agent,否则节点或 workspace 会被重新分配。保留顶层 agent 即可。
使用 Jenkinsfile 步骤
parallel 的分支里还可以调用 Jenkinsfile 步骤。例如把文件下载到不同子目录:
node('windows') {
parallel(
fileA: {
dir('downloads/a') {
bat 'aws s3 cp s3://bucketA/fileA fileA'
}
},
fileB: {
dir('downloads/b') {
bat 'aws s3 cp s3://bucketB/fileB fileB'
}
},
fileC: {
dir('downloads/c') {
bat 'aws s3 cp s3://bucketC/fileC fileC'
}
}
)
bat 'java Build.java downloads\\a\\fileA downloads\\b\\fileB downloads\\c\\fileC'
}
如果装了 AWS Steps 插件,也可以把 bat 'aws s3 cp ...' 换成对应的 S3 下载步骤,但并发调度仍然由 parallel 完成。
注意事项
- Windows 节点用
bat,不要用sh。 - 示例假设 agent 上已安装 AWS CLI,并且凭据可用;否则先配置 AWS CLI 或 Jenkins 凭据。
- 并行分支共享同一个 workspace。不要让多个分支同时写同一个文件,也不要并发执行
deleteDir、git checkout这类会改动整个工作区的操作。 - 下载到不同文件或不同子目录时,这种用法比较安全;运行
java Build.java ...前,先确认所有并行分支都已完成。
备注:内容仅供参考。
