Linux 与服务器运维 / 系统课时
Too many open files 怎么排查
Too many open files 怎么排查
看到 Too many open files 时,真正要判断的是:进程只是合理地碰到了过低的上限,还是文件描述符在异常累积。排查应同时查看运行中进程的限制、当前打开量和增长趋势,再决定调整配置还是修复资源泄漏。
学习目标
- 区分进程级文件描述符上限与系统级文件表资源
- 对比运行中进程的实际 FD 数量、软限制和硬限制
- 根据句柄增长趋势判断“上限偏低”还是“应用泄漏”,并完成修复验证
先确认是哪一层耗尽
进程打开文件、Socket、管道等对象时会消耗文件描述符。若单个进程达到 RLIMIT_NOFILE,系统调用通常返回 EMFILE;如果系统整体文件表耗尽,则可能出现 ENFILE。应用日志都可能把它们描述成“open files”问题,所以不要只凭一行报错决定修改哪个参数。
对已经运行的进程,优先读取 /proc/<PID>/limits,因为当前 Shell 的 ulimit -n 只反映当前 Shell 及其后续子进程的限制,不能代表一个早已由 systemd、容器或其他启动器拉起的服务。

一次采集限制、数量和趋势
下面脚本接收目标 PID,可选第二个参数指定采样次数,默认每 5 秒采样 6 次。它同时读取进程软硬限制和系统级 file-nr,便于先建立证据再改配置。保存为 fd-pressure.sh 后执行 bash fd-pressure.sh <ID> 6,其中 <ID> 替换为实际 PID。
#!/usr/bin/env bash
set -euo pipefail
PID="${1:?usage: $0 PID [samples]}"
SAMPLES="${2:-6}"
FD_DIR="/proc/$PID/fd"
LIMITS="/proc/$PID/limits"
if [[ ! -d "$FD_DIR" || ! -r "$LIMITS" ]]; then
echo "PID 不存在,或当前用户无权读取:$PID" >&2
exit 1
fi
read -r SOFT HARD < <(
awk '/^Max open files/ {print $4, $5}' "$LIMITS"
)
printf 'pid=%s soft=%s hard=%s\n' "$PID" "$SOFT" "$HARD"
printf 'system_file_nr='
cat /proc/sys/fs/file-nr
for ((i = 1; i <= SAMPLES; i++)); do
COUNT="$(find "$FD_DIR" -maxdepth 1 -type l 2>/dev/null | wc -l)"
printf '%s open_fds=%s\n' "$(date '+%F %T')" "$COUNT"
sleep 5
done预期输出
pid=<ID> soft=<SOFT> hard=<HARD>
system_file_nr=<ALLOCATED> <UNUSED> <MAX>
<TIME> open_fds=<COUNT>
<TIME> open_fds=<COUNT>
...实际时间、计数和限制值会不同。关键不是某个固定数字,而是 open_fds 与 soft 的距离,以及在负载稳定时计数是否持续上升。
判断该调上限还是修泄漏
如果 FD 数量随着请求并发上升、空闲后明显回落,并且高峰期长期贴近软限制,说明容量可能确实不足。此时应先确认业务正常峰值,再提高服务的文件描述符限制,而不是无限放大。
如果负载稳定甚至已经下降,但 open_fds 仍持续单调增长,就更像资源泄漏。继续用 /proc/<PID>/fd 或 lsof -nP -p <ID> 看增长类型:Socket 持续增加要检查连接关闭、超时和连接池;普通文件持续增加要检查异常路径是否漏掉 close;管道或 anon_inode 增长则要结合子进程、事件循环和线程模型分析。
系统级的 /proc/sys/fs/file-nr 通常包含已分配、未使用和最大值三项。不同内核版本对第二项的表现可能不同,因此不要只盯单个字段;重点是系统级已分配数量是否接近上限,以及问题是否同时影响多个无关进程。
修复时改对生效位置
如果服务由 systemd 管理,通常应在 unit 或 drop-in 中设置 LimitNOFILE=,然后执行 systemctl daemon-reload 并重启服务。仅在交互式 Shell 中执行 ulimit -n 不会改变已经运行的服务进程。
下面是片段示例,假设正在为某个 systemd 服务创建 drop-in;实际服务名和目标数值必须根据容量评估决定。
[Service]
LimitNOFILE=65535生效行为:服务下次启动时获得新的 RLIMIT_NOFILE。验证时重新读取新进程的 /proc/<PID>/limits,确认 Max open files 已变更,而不是只看配置文件内容。
用复测证明问题已经解决
修复后应重新启动或重载到真正采用新配置的进程,再重复采样。容量问题的理想表现是峰值 FD 与软限制之间保留明确余量;泄漏问题的理想表现是 FD 随业务负载升降,并在空闲期回落到稳定基线。
如果只看“报错暂时消失”,很容易把一次重启造成的计数清零误当成根因解决。真正的验收标准应是限制值正确、趋势稳定、资源类型符合预期,并且在代表性负载下不再持续逼近上限。