C / C++ / 系统课时
用 strace 与 /proc 排查系统问题
用 strace 与 /proc 排查系统问题
程序“打不开文件、连不上服务、卡住不动、突然报资源不足”时,先不要从业务代码猜原因。本课用一个文件描述符耗尽故障贯穿 strace、/proc 和 lsof,建立从系统调用证据到进程状态、资源上限和实际占用的定位顺序。
学习目标
- 能从
strace的系统调用、返回值和errno判断故障发生在哪一层 - 能用
/proc/<PID>核对进程状态、打开的文件描述符和资源限制 - 能用
lsof把文件或套接字映射回具体进程,并区分权限、网络、阻塞与资源耗尽问题
先按系统调用分类现象
排障时最有价值的不是“程序看起来卡住了”,而是它最后在做什么系统调用、返回了什么错误。strace 负责观察调用现场,/proc 负责读取内核暴露的进程状态,lsof 负责把打开的文件、管道和套接字整理成人类更容易阅读的清单。
| 现象 | 优先看什么 | 常见证据 |
|---|---|---|
| 文件打不开 | openat、stat |
ENOENT、EACCES、EMFILE |
| 网络连接失败 | connect、accept |
ECONNREFUSED、ETIMEDOUT,或非阻塞连接的 EINPROGRESS |
| 进程阻塞 | 当前系统调用、State、wchan |
长时间未返回的 read/poll/futex 等 |
| 资源耗尽 | /proc/<PID>/limits、/proc/<PID>/fd |
当前占用接近软限制,或系统调用返回资源类错误 |
制造一个可观察的文件描述符耗尽故障
下面的程序把 RLIMIT_NOFILE 软、硬限制都设为 64,然后不断打开 /dev/null 且不关闭。达到上限后,open 会失败,进程继续休眠,便于从另一个终端检查 /proc 和 lsof。
#define _POSIX_C_SOURCE 200809L
#include <errno.h>
#include <fcntl.h>
#include <stdio.h>
#include <string.h>
#include <sys/resource.h>
#include <unistd.h>
int main(void) {
const struct rlimit limit = {
.rlim_cur = 64,
.rlim_max = 64
};
if (setrlimit(RLIMIT_NOFILE, &limit) == -1) {
perror("setrlimit");
return 1;
}
printf("pid=%ld\n", (long)getpid());
fflush(stdout);
int opened = 0;
for (;;) {
int fd = open("/dev/null", O_RDONLY);
if (fd == -1) {
fprintf(stderr, "open failed after %d extra descriptors: %s\n",
opened, strerror(errno));
break;
}
opened++;
}
sleep(60); // 保留现场,给外部工具检查
return 0;
}编译并启动到后台,记录 shell 返回的 PID:
gcc -Wall -Wextra -O0 -g fd_exhaust.c -o fd_exhaust
./fd_exhaust >/tmp/fd_exhaust.log 2>&1 &
PID=$!
sleep 1
cat /tmp/fd_exhaust.log
printf 'shell_pid=%s\n' "$PID"预期输出(实际可用描述符数量会受继承的文件描述符影响):
pid=<PID>
open failed after <VALUE> extra descriptors: Too many open files
shell_pid=<PID>如果日志中的 pid 与 shell_pid 一致,后续就可以围绕这个 PID 收集证据。
用 strace 先抓系统调用证据
对“程序为什么失败”最直接的验证,是观察失败的系统调用。重新从 strace 启动程序,并只过滤文件相关调用;timeout 用来结束程序的 60 秒休眠。
timeout 2s strace -f -tt -e trace=%file ./fd_exhaust 2>&1 \
| grep 'EMFILE' \
| head -n 1预期输出:
<TIME> openat(AT_FDCWD, "/dev/null", O_RDONLY) = -1 EMFILE (Too many open files)这里已经能排除“路径不存在”和“权限不足”:真正失败的是 openat,返回值为 -1,错误是 EMFILE,表示当前进程可用的文件描述符已经达到限制。处理阻塞问题时可在现场追踪中加入 -T,它会在系统调用返回后显示耗时;若调用长期不返回,再结合 /proc/<PID>/wchan 和进程状态判断它在内核中的等待位置。
对于网络问题,把观察重点换成 connect、accept、sendto、recvfrom 等网络调用;对于文件问题则优先看 openat、newfstatat、read、write。先缩小系统调用类别,比无过滤地保存海量 trace 更容易发现第一条异常。
用 /proc 与 lsof 对照资源现场
/proc/<PID>/limits 给出进程资源软、硬上限,/proc/<PID>/fd 中每个条目对应一个已打开文件描述符,status 给出进程状态与线程数,wchan 在权限允许时显示睡眠进程等待的内核位置。lsof 则把这些描述符对应的文件和套接字集中展示出来。
grep 'Max open files' /proc/$PID/limits
ls -1 /proc/$PID/fd | wc -l
grep -E '^(State|Threads):' /proc/$PID/status
cat /proc/$PID/wchan
lsof -nP -p "$PID" | awk 'NR == 1 || /\/dev\/null/' | head -n 4
kill "$PID"预期输出(wchan、设备号、用户和 FD 编号会随系统变化):
Max open files 64 64 files
64
State: S (sleeping)
Threads: 1
<VALUE>
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
fd_exhaust <PID> <USER> <FD>r CHR <VALUE> <VALUE> <VALUE> /dev/null
fd_exhaust <PID> <USER> <FD>r CHR <VALUE> <VALUE> <VALUE> /dev/null这组证据能闭合因果链:strace 看到 EMFILE,资源上限确实是 64,/proc/<PID>/fd 的占用已经达到上限,而 lsof 又证明大量描述符指向 /dev/null。此时修复方向应是关闭不再使用的 FD、修复泄漏,或在确认容量设计合理后调整限制,而不是盲目重试 open。

用固定顺序避免误判
现场排查可以固定成一条短路径:先复现并确认 PID,再用 strace 找到失败或长期停留的系统调用;接着检查对应的 /proc 状态、限制和 FD;最后用 lsof 确认具体文件或套接字归属。权限问题重点核对 EACCES 与目标路径,网络问题重点核对 connect 的返回状态和套接字,阻塞问题重点核对等待调用、State 与 wchan,资源问题则比较当前占用与限制。
修复后必须用原始触发条件复测:系统调用不应再返回原来的错误,资源占用应回落到合理范围,进程也不应停在同一等待点。这样得到的是由内核证据支持的根因,而不是依赖日志措辞或经验猜测的结论。