CI/CD / 系统课时

流水线卡住时检查哪些资源

流水线卡住时检查哪些资源

流水线长时间没有新日志,不一定是代码仍在执行。它可能在等待执行器、节点、锁或人工输入,也可能已经进入外部命令但被网络、磁盘或内存拖住。排障的关键是先确认停在哪个步骤,再检查这个步骤依赖的资源。

学习目标

  • 根据控制台日志判断流水线正在运行还是等待资源
  • 按执行器、节点、锁、输入步骤和外部命令的顺序缩小范围
  • 使用 Jenkins 与操作系统信息验证修复是否真正解除阻塞

先找到最后一个有进展的步骤

先打开该次构建的 Console Output,寻找最后一个已经开始但没有结束的 Pipeline 步骤。不要仅凭页面上的旋转图标判断,因为 node、input、锁等待和真正运行的 shell 命令都可能表现为构建仍处于进行状态。

如果日志停在等待可用执行器附近,优先检查节点;停在 input,说明正在等人工操作;安装了 Lockable Resources 插件并使用 lock 时,则要确认资源是否被其他构建占用。若日志已经进入 sh 或 bat,排查重点转向执行命令所在节点。

流水线停滞资源定位流程

检查执行器和节点

当任务停在 node 或显示等待分配执行器时,检查目标节点是否在线、标签是否匹配,以及是否还有空闲 executor。一个常见情况是 Pipeline 要求 linux 标签,但唯一符合条件的节点已经离线或所有执行器都被长任务占满。

在具备 Jenkins CLI 访问权限的环境中,可以查看节点列表:

bash
java -jar jenkins-cli.jar -s https://jenkins.example.com/ list-computers

预期输出类似:

text
Name                 State
built-in             Online
linux-agent-01       Online
linux-agent-02       Offline

具体节点名称和状态取决于实际环境。如果目标节点离线,应继续检查 Agent 连接、节点日志和启动方式,而不是通过增加流水线超时时间掩盖问题。

排除锁和人工等待

使用 Lockable Resources 插件的流水线可能在 lock 中等待其他构建释放资源,例如共享测试环境或部署槽位。此时应确认当前持有者是否仍在运行,以及异常终止的任务是否留下需要处理的资源状态。

input 则是另一类正常等待。例如部署前要求人工确认:

groovy
pipeline {
    agent any
    stages {
        stage('Deploy Approval') {
            steps {
                timeout(time: 30, unit: 'MINUTES') {
                    input message: 'Deploy to production?', ok: 'Deploy'
                }
            }
        }
    }
}

预期结果:流水线最多等待 30 分钟供授权用户确认;确认后继续执行,超时后该步骤失败,从而避免任务无限占据等待状态。实际页面提示文字可能因 Jenkins 与插件版本不同而略有差异。

外部命令卡住时看系统资源

如果控制台已经打印出 shell 命令开始执行的信息,却迟迟没有返回,就要到实际执行该命令的 Agent 上检查。重点包括 CPU 是否持续满载、可用内存是否不足、磁盘是否写满、网络请求是否没有超时,以及命令是否启动了等待输入的子进程。

Linux Agent 可以先做一组低风险检查:

bash
uptime
free -h
df -h
ps -eo pid,ppid,stat,etime,cmd --sort=-etime | head

预期输出:

text
<TIME> up <TIME>, <N> users, load average: <N>, <N>, <N>
Mem: <SIZE> <SIZE> <SIZE> <SIZE> <SIZE> <SIZE>
Filesystem Size Used Avail Use% Mounted on
<DEVICE> <SIZE> <SIZE> <SIZE> <N>% /
PID PPID STAT ELAPSED CMD
<ID> <ID> <STATE> <TIME> <COMMAND>

其中时间、进程 ID、容量和负载均是动态值。发现磁盘 100% 或进程长期处于异常状态后,再针对该资源处理;不要在尚未确认根因时直接杀掉所有 Jenkins 相关进程。

修复后验证流水线继续推进

解除节点、锁或系统资源问题后,回到同一次构建观察控制台是否出现新的步骤日志。如果原任务已经无法安全继续,应根据流水线的幂等性决定是否终止并重新构建,尤其是部署、数据库变更等具有外部副作用的阶段。

排查流水线“卡住”时,最有效的顺序始终是先定位等待点,再检查等待点对应的资源。这样可以避免把正常的人工等待误判成 Jenkins 故障,也能避免为了恢复一个任务而盲目重启控制器或 Agent。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

流水线卡住时检查哪些资源

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通