Linux 与服务器运维 / 系统课时

进程数量暴涨应该怎么排查

进程数量暴涨应该怎么排查

进程数突然上升时,先分清是大量新进程、线程泄漏还是僵尸堆积,再沿父子关系定位创建者。目标不是只把数量压下去,而是找到持续创建任务的程序和触发条件,并验证修复后数量停止增长。

学习目标

  • 区分进程数、线程任务数与僵尸进程数量
  • 用 PPID 和线程统计定位持续创建任务的异常程序
  • 通过连续采样确认修复后数量不再增长

先确认增长的是进程还是线程

Linux 的一个进程通常对应一个 PID,而多线程进程会有多个 LWP/TID。仅看 ps 的总行数容易把“进程暴涨”和“线程暴涨”混在一起,因此先同时统计进程、任务和僵尸数量。

bash
printf 'processes='
ps -e --no-headers | wc -l
printf 'tasks='
ps -eLf --no-headers | wc -l
printf 'zombies='
ps -eo stat= | awk '$1 ~ /^Z/ {n++} END {print n+0}'

预期输出

text
processes=<COUNT>
tasks=<COUNT>
zombies=<COUNT>

实际数值会随主机负载变化。若 processes 与 tasks 一起快速上涨,优先怀疑持续 fork 或频繁拉起新进程;若进程数变化不大而 tasks 激增,更像线程池失控或线程泄漏;若 zombies 持续增加,则要检查父进程是否正确回收子进程。

进程数量暴涨的定位流程

按父进程关系找持续 fork 的创建者

当进程数增长明显时,先统计每个 PPID 当前拥有多少直接子进程。一个父进程突然挂着数百、数千个同类子进程,通常比逐个查看 PID 更快暴露问题。

bash
ps -eo ppid= | awk '{count[$1]++} END {for (pid in count) print count[pid], pid}'   | sort -k1,1nr | head -n 10

预期输出

text
<COUNT> <ID>
<COUNT> <ID>
<COUNT> <ID>

第一列是直接子进程数量,第二列是 PPID。记录可疑的 <ID> 后,再查看这些子进程的状态、运行时长和命令行。以下为片段示例,需要把 <ID> 替换为上一步找到的真实 PPID。

bash
PARENT_PID="<ID>"
ps --ppid "$PARENT_PID" -o pid=,ppid=,stat=,etime=,cmd= | head -n 30

预期输出

text
<ID> <ID> S  <TIME> <COMMAND>
<ID> <ID> S  <TIME> <COMMAND>

如果大量子进程命令相同且运行时间很短,常见原因是循环 fork、失败后无退避地重启、脚本递归调用或任务调度器重复拉起。若父进程属于 systemd 服务,还应继续检查对应单元的启动策略和应用日志。

再查单个进程是否线程失控

线程暴涨时,系统进程数可能看起来还正常,但一个 PID 的线程数会不断增加。按 PID 聚合 LWP,可以迅速找到线程最多的进程。

bash
ps -eLo pid=,comm= | awk '{count[$1]++; name[$1]=$2} END {for (pid in count) print count[pid], pid, name[pid]}'   | sort -k1,1nr | head -n 10

预期输出

text
<COUNT> <ID> <COMMAND>
<COUNT> <ID> <COMMAND>

若某个应用远高于同类进程,再结合应用自己的线程池配置、请求量和线程转储判断是合理并发还是泄漏。不要只因为线程数高就立即终止进程,先确认它是否仍在持续增长。

用连续采样确认问题仍在发生

单次快照只能说明“现在很多”,不能证明“还在不断创建”。连续采样总进程数和任务数,可以区分历史遗留高水位与正在发生的泄漏。

bash
for i in 1 2 3; do
  printf '%s processes=' "$(date '+%H:%M:%S')"
  ps -e --no-headers | wc -l
  printf 'tasks='
  ps -eLf --no-headers | wc -l
  sleep 5
done

预期输出

text
<TIME> processes=<COUNT>
tasks=<COUNT>
<TIME> processes=<COUNT>
tasks=<COUNT>
<TIME> processes=<COUNT>
tasks=<COUNT>

实际时间和数量会不同。若修复前采样持续上升,而修复创建逻辑、重启对应服务或调整线程池后趋于稳定,就说明方向正确。必要时可用 systemd 的任务数限制作为保护措施,但限制只能防止失控拖垮整机,不能替代对 fork 循环、重启风暴或线程泄漏根因的修复。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

进程数量暴涨应该怎么排查

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通