Go / 系统课时
处理文件描述符耗尽
处理文件描述符耗尽
高并发 Go 服务出现 too many open files 或 EMFILE 时,表面看像网络故障,本质是进程可用文件描述符已经耗尽。Socket、普通文件和管道都会消耗文件描述符。本节从限制值、当前占用和连接生命周期三个方向定位问题,并给出安全的复现与修复顺序。
学习目标
- 用
ulimit、/proc和lsof判断是限制过低还是描述符持续泄漏。 - 区分提高上限与修复连接泄漏两类措施,避免只掩盖根因。
- 通过并发控制、及时关闭连接和监控验证修复是否生效。
先确认是不是文件描述符耗尽
Linux 进程打开 Socket 时同样要占用文件描述符。软限制决定当前进程实际可使用的最大数量,硬限制决定软限制最多能提高到多少。先查看启动环境的限制,再判断服务当前描述符数量是否已经逼近上限。
ulimit -Sn
ulimit -Hn预期输出
<SOFT_LIMIT>
<HARD_LIMIT>实际数字取决于系统和进程启动方式。对已经运行的服务,可以使用目标进程 PID 检查 /proc/<ID>/limits,并统计当前打开的描述符数量。
PID=<ID>
grep "Max open files" /proc/$PID/limits
ls /proc/$PID/fd | wc -l预期输出
Max open files <SOFT_LIMIT> <HARD_LIMIT> files
<OPEN_FD_COUNT>如果 <OPEN_FD_COUNT> 长期接近 <SOFT_LIMIT>,就要继续确认增长来自网络连接、日志文件、管道还是其他资源,而不能直接把所有问题归因于 Socket。
安全复现 EMFILE
下面的最小程序不断打开 /dev/null,用来观察文件描述符限制怎样触发 EMFILE。它不依赖网络,进程退出后未关闭的描述符也会由内核回收,适合在开发环境验证错误表现。
package main
import (
"fmt"
"os"
)
func main() {
var files []*os.File
for {
f, err := os.Open("/dev/null")
if err != nil {
fmt.Printf("open failed after %d files: %v\n", len(files), err)
break
}
files = append(files, f)
}
for _, f := range files {
_ = f.Close()
}
}在子 shell 中降低软限制后运行,避免改变当前终端后续命令的限制值。
go build -o fd-demo main.go
(
ulimit -n 64
./fd-demo
)预期输出
open failed after <COUNT> files: open /dev/null: too many open files<COUNT> 会受 Go 运行时和进程已占用描述符影响,因此实际数字可能不同;关键验证点是最终错误明确包含 too many open files。
按增长来源定位根因
排查时应先确认描述符有没有持续增长,再看增长的是什么。只在故障发生后读取一次总数,无法区分瞬时并发峰值和真正的资源泄漏。
PID=<ID>
lsof -nP -p "$PID" | awk 'NR>1 {print $5}' | sort | uniq -c | sort -nr | head预期输出
<COUNT> IPv4
<COUNT> REG
<COUNT> FIFO不同 Linux 发行版和 lsof 版本的类型名称可能不同。如果 IPv4、IPv6 或 Socket 相关项持续增加,应继续检查 TCP 连接状态以及业务代码中的关闭路径;如果 REG 持续增加,则应检查日志、临时文件和重复打开文件的代码。

修复时不要只改 ulimit
提高限制适合业务确实需要更多并发连接,并且连接生命周期正常的情况;如果描述符数量随着请求持续上涨且不回落,提高上限只会把故障推迟。Go HTTP 客户端应及时读取并关闭 resp.Body,使用原始 net.Conn 的代码也要确保所有退出路径最终都会关闭连接。
对突发并发,还应设置全局或按下游划分的并发上限,让可接受的排队替代无限制占用 Socket。如果服务由 systemd 启动,限制通常需要在 unit 中配置 LimitNOFILE,而不是只在交互式 shell 中执行 ulimit;修改并重启后,应重新读取 /proc/<ID>/limits 验证实际生效值。
修复完成后,应确认文件描述符数量在流量回落时能够下降或稳定在合理区间,同时 EMFILE 消失、连接建立错误下降,并且没有因为简单抬高上限把压力转移到下游或内核资源。