C / C++ / 系统课时

用 strace 与 /proc 排查系统问题

用 strace 与 /proc 排查系统问题

程序“打不开文件、连不上服务、卡住不动、突然报资源不足”时,先不要从业务代码猜原因。本课用一个文件描述符耗尽故障贯穿 strace、/proc 和 lsof,建立从系统调用证据到进程状态、资源上限和实际占用的定位顺序。

学习目标

  • 能从 strace 的系统调用、返回值和 errno 判断故障发生在哪一层
  • 能用 /proc/<PID> 核对进程状态、打开的文件描述符和资源限制
  • 能用 lsof 把文件或套接字映射回具体进程,并区分权限、网络、阻塞与资源耗尽问题

先按系统调用分类现象

排障时最有价值的不是“程序看起来卡住了”,而是它最后在做什么系统调用、返回了什么错误。strace 负责观察调用现场,/proc 负责读取内核暴露的进程状态,lsof 负责把打开的文件、管道和套接字整理成人类更容易阅读的清单。

现象 优先看什么 常见证据
文件打不开 openat、stat ENOENT、EACCES、EMFILE
网络连接失败 connect、accept ECONNREFUSED、ETIMEDOUT,或非阻塞连接的 EINPROGRESS
进程阻塞 当前系统调用、State、wchan 长时间未返回的 read/poll/futex 等
资源耗尽 /proc/<PID>/limits、/proc/<PID>/fd 当前占用接近软限制,或系统调用返回资源类错误

制造一个可观察的文件描述符耗尽故障

下面的程序把 RLIMIT_NOFILE 软、硬限制都设为 64,然后不断打开 /dev/null 且不关闭。达到上限后,open 会失败,进程继续休眠,便于从另一个终端检查 /proc 和 lsof。

c
#define _POSIX_C_SOURCE 200809L

#include <errno.h>
#include <fcntl.h>
#include <stdio.h>
#include <string.h>
#include <sys/resource.h>
#include <unistd.h>

int main(void) {
    const struct rlimit limit = {
        .rlim_cur = 64,
        .rlim_max = 64
    };

    if (setrlimit(RLIMIT_NOFILE, &limit) == -1) {
        perror("setrlimit");
        return 1;
    }

    printf("pid=%ld\n", (long)getpid());
    fflush(stdout);

    int opened = 0;
    for (;;) {
        int fd = open("/dev/null", O_RDONLY);
        if (fd == -1) {
            fprintf(stderr, "open failed after %d extra descriptors: %s\n",
                    opened, strerror(errno));
            break;
        }
        opened++;
    }

    sleep(60);  // 保留现场,给外部工具检查
    return 0;
}

编译并启动到后台,记录 shell 返回的 PID:

bash
gcc -Wall -Wextra -O0 -g fd_exhaust.c -o fd_exhaust
./fd_exhaust >/tmp/fd_exhaust.log 2>&1 &
PID=$!
sleep 1
cat /tmp/fd_exhaust.log
printf 'shell_pid=%s\n' "$PID"

预期输出(实际可用描述符数量会受继承的文件描述符影响):

text
pid=<PID>
open failed after <VALUE> extra descriptors: Too many open files
shell_pid=<PID>

如果日志中的 pid 与 shell_pid 一致,后续就可以围绕这个 PID 收集证据。

用 strace 先抓系统调用证据

对“程序为什么失败”最直接的验证,是观察失败的系统调用。重新从 strace 启动程序,并只过滤文件相关调用;timeout 用来结束程序的 60 秒休眠。

bash
timeout 2s strace -f -tt -e trace=%file ./fd_exhaust 2>&1 \
  | grep 'EMFILE' \
  | head -n 1

预期输出:

text
<TIME> openat(AT_FDCWD, "/dev/null", O_RDONLY) = -1 EMFILE (Too many open files)

这里已经能排除“路径不存在”和“权限不足”:真正失败的是 openat,返回值为 -1,错误是 EMFILE,表示当前进程可用的文件描述符已经达到限制。处理阻塞问题时可在现场追踪中加入 -T,它会在系统调用返回后显示耗时;若调用长期不返回,再结合 /proc/<PID>/wchan 和进程状态判断它在内核中的等待位置。

对于网络问题,把观察重点换成 connect、accept、sendto、recvfrom 等网络调用;对于文件问题则优先看 openat、newfstatat、read、write。先缩小系统调用类别,比无过滤地保存海量 trace 更容易发现第一条异常。

用 /proc 与 lsof 对照资源现场

/proc/<PID>/limits 给出进程资源软、硬上限,/proc/<PID>/fd 中每个条目对应一个已打开文件描述符,status 给出进程状态与线程数,wchan 在权限允许时显示睡眠进程等待的内核位置。lsof 则把这些描述符对应的文件和套接字集中展示出来。

bash
grep 'Max open files' /proc/$PID/limits
ls -1 /proc/$PID/fd | wc -l
grep -E '^(State|Threads):' /proc/$PID/status
cat /proc/$PID/wchan
lsof -nP -p "$PID" | awk 'NR == 1 || /\/dev\/null/' | head -n 4
kill "$PID"

预期输出(wchan、设备号、用户和 FD 编号会随系统变化):

text
Max open files            64                   64                   files
64
State:  S (sleeping)
Threads:        1
<VALUE>
COMMAND     PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
fd_exhaust <PID> <USER> <FD>r CHR <VALUE> <VALUE> <VALUE> /dev/null
fd_exhaust <PID> <USER> <FD>r CHR <VALUE> <VALUE> <VALUE> /dev/null

这组证据能闭合因果链:strace 看到 EMFILE,资源上限确实是 64,/proc/<PID>/fd 的占用已经达到上限,而 lsof 又证明大量描述符指向 /dev/null。此时修复方向应是关闭不再使用的 FD、修复泄漏,或在确认容量设计合理后调整限制,而不是盲目重试 open。

系统问题的证据收敛流程

用固定顺序避免误判

现场排查可以固定成一条短路径:先复现并确认 PID,再用 strace 找到失败或长期停留的系统调用;接着检查对应的 /proc 状态、限制和 FD;最后用 lsof 确认具体文件或套接字归属。权限问题重点核对 EACCES 与目标路径,网络问题重点核对 connect 的返回状态和套接字,阻塞问题重点核对等待调用、State 与 wchan,资源问题则比较当前占用与限制。

修复后必须用原始触发条件复测:系统调用不应再返回原来的错误,资源占用应回落到合理范围,进程也不应停在同一等待点。这样得到的是由内核证据支持的根因,而不是依赖日志措辞或经验猜测的结论。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用 strace 与 /proc 排查系统问题

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通