PAYATHON 2026

Jenkinsfile 如何在同一个 workspace 内并行执行任务?

技术问小赵

可以。做法是在 Jenkinsfile 里用 parallel 步骤,把并发任务放在外层 node/agent 内,并且不要在 parallel 的每个分支里再写 node 或 agent。这样所有分支都在同一个节点和同一个 executor 上下文里运行,也共用同一个 workspace。并发调度由 Jenkins 负责,实际下载仍交给 bat、powershell 或插件步骤完成。

原因

parallel 的分支本身不会创建新的 workspace。只有分支里又声明了 node/agent,Jenkins 才会为它申请 executor,这时就可能分配到不同的 workspace。所以如果希望所有任务共用一个 workspace,应把 parallel 放在外层 node 里,分支内只写具体步骤。

脚本式 Pipeline 示例

node('windows') {
  parallel(
    fileA: {
      bat 'aws s3 cp s3://bucketA/fileA fileA'
    },
    fileB: {
      bat 'aws s3 cp s3://bucketB/fileB fileB'
    },
    fileC: {
      bat 'aws s3 cp s3://bucketC/fileC fileC'
    }
  )
  bat 'java Build.java fileA fileB fileC'
}

Declarative Pipeline 示例

pipeline {
  agent { label 'windows' }
  stages {
    stage('Download') {
      steps {
        script {
          parallel(
            fileA: { bat 'aws s3 cp s3://bucketA/fileA fileA' },
            fileB: { bat 'aws s3 cp s3://bucketB/fileB fileB' },
            fileC: { bat 'aws s3 cp s3://bucketC/fileC fileC' }
          )
        }
      }
    }
    stage('Build') {
      steps {
        bat 'java Build.java fileA fileB fileC'
      }
    }
  }
}

如果用 Declarative Pipeline 的 parallel stages,同样不要给每个并行 stage 单独写 agent,否则节点或 workspace 会被重新分配。保留顶层 agent 即可。

使用 Jenkinsfile 步骤

parallel 的分支里还可以调用 Jenkinsfile 步骤。例如把文件下载到不同子目录:

node('windows') {
  parallel(
    fileA: {
      dir('downloads/a') {
        bat 'aws s3 cp s3://bucketA/fileA fileA'
      }
    },
    fileB: {
      dir('downloads/b') {
        bat 'aws s3 cp s3://bucketB/fileB fileB'
      }
    },
    fileC: {
      dir('downloads/c') {
        bat 'aws s3 cp s3://bucketC/fileC fileC'
      }
    }
  )
  bat 'java Build.java downloads\\a\\fileA downloads\\b\\fileB downloads\\c\\fileC'
}

如果装了 AWS Steps 插件,也可以把 bat 'aws s3 cp ...' 换成对应的 S3 下载步骤,但并发调度仍然由 parallel 完成。

注意事项

  • Windows 节点用 bat,不要用 sh。
  • 示例假设 agent 上已安装 AWS CLI,并且凭据可用;否则先配置 AWS CLI 或 Jenkins 凭据。
  • 并行分支共享同一个 workspace。不要让多个分支同时写同一个文件,也不要并发执行 deleteDir、git checkout 这类会改动整个工作区的操作。
  • 下载到不同文件或不同子目录时,这种用法比较安全;运行 java Build.java ... 前,先确认所有并行分支都已完成。

备注:内容仅供参考。