CI/CD / 系统课时

让并行任务缩短验证时间

让并行任务缩短验证时间

构建完成后,单元测试、静态检查和其他互不依赖的验证如果串行执行,总耗时会不断累加。Jenkins Pipeline 可以让这些任务并行运行,使阶段耗时更接近最慢分支,同时仍把任一关键分支的失败反映为流水线失败。

学习目标

  • 判断哪些验证任务可以安全地并行执行
  • 使用 Declarative Pipeline 的 parallel 同时运行独立分支
  • 理解并行分支失败时的默认行为以及 failFast 的适用场景

先确认任务真正独立

并行不是简单地把连续的 stage 改写成多个分支。适合并行的任务应该已经拥有所需输入,并且彼此没有执行顺序依赖。例如构建产物准备完成后,单元测试和静态检查通常可以同时读取工作区并执行。

如果分支会修改同一个文件、占用同一个固定端口、写入同一个数据库测试环境,或者后一个任务依赖前一个任务生成结果,就需要先隔离资源或继续串行执行。否则节省的时间可能被竞争条件和偶发失败抵消。

Jenkins 串行验证与并行验证对比

用 parallel 组织验证分支

Declarative Pipeline 可以在一个阶段中声明 parallel,每个子 stage 都是独立的并行分支。下面用两个可直接运行的 Shell 命令模拟耗时不同的验证任务。

groovy
pipeline {
    agent any

    stages {
        stage('Validate') {
            parallel {
                stage('Unit Test') {
                    steps {
                        sh 'sleep 2; echo "unit tests passed"'
                    }
                }
                stage('Static Check') {
                    steps {
                        sh 'sleep 1; echo "static check passed"'
                    }
                }
            }
        }
    }
}

预期输出:两个分支可以交错输出,因此日志先后顺序不应作为依赖关系。Static Check 大约 1 秒完成,Unit Test 大约 2 秒完成;两个分支均成功后,Validate 阶段成功。实际时间还会受到节点调度和 Jenkins 开销影响。

text
static check passed
unit tests passed
Validate: SUCCESS

若两个任务串行执行,仅示例中的等待就需要约 3 秒;并行后理论等待时间接近较慢分支的约 2 秒。真实流水线是否能获得同等收益,还取决于执行器数量、CPU、内存以及任务之间是否争用资源。

一个分支失败时会发生什么

并行并不意味着忽略失败。默认情况下,一个分支失败会让并行阶段最终失败,但其他已经运行的分支通常仍可继续执行。这样有利于一次收集更多验证结果,而不是第一个错误出现后立刻丢失其他检查信息。

下面将静态检查改成确定性失败,用于观察最终状态:

groovy
pipeline {
    agent any

    stages {
        stage('Validate') {
            parallel {
                stage('Unit Test') {
                    steps {
                        sh 'sleep 2; echo "unit tests passed"'
                    }
                }
                stage('Static Check') {
                    steps {
                        sh 'echo "static check failed"; exit 1'
                    }
                }
            }
        }
    }
}

预期输出:Static Check 返回非零退出码并失败,Unit Test 可以完成,但整个 Validate 阶段最终仍为失败,因此后续依赖成功状态的普通阶段不会继续执行。

text
static check failed
unit tests passed
Validate: FAILURE

需要快速失败时启用 failFast

有些流水线更重视尽快停止无意义的工作。例如任一关键验证失败后,其余长时间分支的结果已经没有发布价值,可以在包含 parallel 的阶段设置 failFast true。Jenkins 会在某个分支失败后尝试中止其他并行分支。

groovy
stage('Validate') {
    failFast true
    parallel {
        stage('Unit Test') {
            steps {
                sh 'sleep 30; echo "unit tests passed"'
            }
        }
        stage('Static Check') {
            steps {
                sh 'echo "static check failed"; exit 1'
            }
        }
    }
}

预期结果:Static Check 很快失败后,Jenkins 尝试中止仍在执行的 Unit Test 分支,Validate 最终失败。被中止步骤产生的具体控制台日志取决于 Jenkins、Agent 和步骤实现,因此不应依赖某一条固定中止文本。

text
Static Check: FAILURE
Unit Test: interrupted or aborted before normal completion
Validate: FAILURE

是否启用 failFast 取决于反馈目标:需要一次得到尽可能完整的测试报告时,让其他分支继续更有价值;失败后继续运行只会消耗昂贵资源时,快速失败更合适。

并行优化的核心不是分支越多越好,而是识别真正独立的工作。先隔离共享资源,再并行执行测试和检查,并明确选择“收集全部结果”还是“首个失败即停止”,流水线才能在缩短等待时间的同时保持稳定、可解释的失败行为。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

让并行任务缩短验证时间

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通