Linux 与服务器运维 / 系统课时

文件描述符为什么会耗尽

文件描述符为什么会耗尽

Linux 进程访问普通文件、网络连接和管道时,都要通过文件描述符引用内核对象。故障现场出现 Too many open files 时,真正的问题通常不是磁盘文件太多,而是进程持有的描述符数量逼近上限。本节从描述符的占用关系出发,学会确认到底是谁耗尽了资源。

学习目标

  • 理解文件、Socket 和管道为什么都会占用文件描述符
  • 区分单进程描述符上限与系统级文件句柄限制
  • 使用 /proc 快速比较进程当前占用量和允许上限

文件描述符不只代表磁盘文件

对一个进程来说,文件描述符本质上是一个非负整数,用来索引该进程的描述符表。打开配置文件会得到描述符,建立 TCP Socket 会得到描述符,创建管道也会得到描述符;标准输入、标准输出和标准错误通常已经占用了 0、1、2。

因此,服务即使很少读取磁盘,也可能因为大量连接未关闭而耗尽描述符。常见来源包括未关闭的 HTTP 连接、数据库连接泄漏、日志文件反复打开后未释放、管道或临时文件泄漏,以及异常情况下持续创建的新 Socket。

进程文件描述符表与内核对象的关系

先比较当前占用和进程上限

发生资源耗尽时,不要只在当前终端执行 ulimit -n。它显示的是当前 Shell 的软限制,并不能代表一个已经运行的服务实际继承到的限制。对于目标进程,应直接查看 /proc/<PID>/limits,再统计 /proc/<PID>/fd。

下面把 <ID> 替换为目标进程的真实 PID。

bash
PID='<ID>'
printf 'soft limit: '
awk '/Max open files/ {print $4}' "/proc/$PID/limits"
printf 'open fds: '
ls -1 "/proc/$PID/fd" | wc -l

预期输出类似下面这样,实际数字会随进程和系统配置变化。

text
soft limit: <LIMIT>
open fds: <COUNT>

如果 <COUNT> 已经非常接近 <LIMIT>,就有充分理由继续调查该进程为什么持续持有描述符。若数量明显低于上限,则当前报错可能来自其他进程、短时间峰值,或者系统级文件句柄资源。

达到上限后会发生什么

进程达到自己的描述符上限后,新的 open()、socket()、accept() 等操作可能失败并返回 EMFILE。应用日志中经常把它显示为 Too many open files。这时已有连接不一定立即断开,但进程可能无法接受新连接、打开日志文件或连接新的下游服务,于是表面症状会扩散到网络和应用层。

Linux 还存在系统级文件句柄资源。系统范围无法再分配文件句柄时,相关系统调用可能返回 ENFILE,其含义与单进程的 EMFILE 不同。排查时可以查看内核暴露的系统级限制和当前文件句柄计数,但不要仅通过调高上限掩盖泄漏。

bash
cat /proc/sys/fs/file-nr
cat /proc/sys/fs/file-max

预期输出为系统当前文件句柄统计和上限,数值因机器而异。

text
<ALLOCATED> <UNUSED> <MAX>
<SYSTEM_LIMIT>

file-nr 的字段含义与具体内核版本有关,排查时重点关注已分配数量是否长期逼近系统限制,并结合实际系统文档确认字段解释。

真正需要修的是持续增长

仅把 nofile 从较小值调大,可以缓解合理高并发下的容量不足,但如果某类描述符只增不减,扩大上限只会推迟故障。更有价值的下一步是观察 /proc/<PID>/fd 数量是否持续增长,并用 lsof -p <PID> 或 /proc/<PID>/fd 的链接目标判断主要增长的是文件、Socket 还是其他对象。

排查文件描述符耗尽的关键不是看到 Too many open files 后立即调大数字,而是先确定限制发生在哪一层,再确认哪一类描述符持续占用。只有当占用模式符合业务并发规模时,提高上限才是容量调整;持续增长且无法回落,则应继续追查资源释放逻辑。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

文件描述符为什么会耗尽

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通