Linux 与服务器运维 / 系统课时
程序卡住时怎样看它在等什么
程序卡住时怎样看它在等什么
程序“不动了”不一定是 CPU 忙,也可能只是线程长期阻塞。把 strace 附加到正在运行的进程,可以直接看到线程停在 read、poll、futex、connect 等哪类系统调用,从而判断它是在等输入、等网络、等锁,还是等待别的内核事件。
学习目标
- 安全地将
strace附加到正在运行的进程并保留时间信息 - 根据长期停留的系统调用判断进程正在等待什么
- 区分正常阻塞、外部依赖等待和可能的线程锁竞争
先确认进程,再短时间附加观察
先用 pgrep、ps 或服务管理器确认目标 PID。附加时建议使用 -tt 打印时间、-T 显示调用耗时,并用 -f 跟踪线程或子进程。生产环境不要一开始就开启所有细节,先观察十几秒通常已经足够判断等待类型。
片段示例:将 <ID> 替换为目标进程 PID。该命令需要对目标进程具备 ptrace 权限,通常要求同一用户,某些系统还需要授权提升权限。
strace -f -tt -T -p <ID>预期结果
strace: Process <ID> attached
<TIME> poll(... <unfinished ...>实际时间、线程 ID、文件描述符和调用参数会不同。观察完成后按 Ctrl+C 只会让 strace 脱离目标进程,正常情况下不会终止被跟踪程序。
看“长期没有返回”的调用
判断卡住时,不要只数某个系统调用出现多少次,而要关注它是否长时间不返回。strace 常把这类调用显示成 <unfinished ...>,等它恢复后再输出 <... call resumed>。
常见等待类型可以这样理解:
| 系统调用 | 常见含义 | 优先检查 |
|---|---|---|
read / recvfrom |
等文件、管道、终端或 socket 数据 | 对应文件描述符连接到哪里 |
poll / ppoll / epoll_wait |
等多个 I/O 事件 | 网络连接、管道、事件循环 |
futex |
等线程同步原语 | 锁竞争、条件变量、线程池 |
connect |
建立网络连接尚未完成或失败重试 | 目标地址、路由、防火墙、服务端状态 |
如果调用很快返回又立即再次执行,含义可能完全不同。例如不断返回 EAGAIN 的 read 更像忙轮询,而不是“睡死”。
用过滤器减少噪声
对大型进程直接跟踪全部系统调用,输出会非常快。已经怀疑是 I/O 或锁等待时,可以只看相关调用。
strace -f -tt -T -e trace=read,recvfrom,poll,ppoll,epoll_wait,futex,connect -p <ID>预期输出
<TIME> futex(<ADDRESS>, FUTEX_WAIT_PRIVATE, <VALUE>, NULL <unfinished ...><ADDRESS>、<VALUE> 和时间都是动态值。若多个线程长期停在同一个 futex 地址附近,说明“锁或条件变量等待”值得继续调查,但 strace 本身不能告诉你是哪一行源码持有锁;这时应结合线程栈工具,例如 gdb、pstack 或语言运行时自带的线程转储。
read 和 poll 要先找文件描述符指向哪里
看到 read(7, ...) 或 poll([{fd=7, ...}], ...) 只能说明进程在等 fd 7,对根因还不够。可以通过 /proc/<ID>/fd 查看这个描述符对应文件、管道还是 socket。
片段示例:将 <ID> 和 <FD> 替换为 trace 中的实际值。
readlink /proc/<ID>/fd/<FD>预期输出
socket:[<ID>]也可能返回真实文件路径、pipe:[<ID>]、anon_inode:[eventpoll] 等结果。若是 socket,再结合 ss -tpn 查看连接端点和状态;若是管道,则继续确认生产者进程是否仍然存在并有数据写入。
futex 不等于一定死锁
futex() 是用户态锁和条件变量常见的内核等待机制,所以 Java、Python 原生扩展、C/C++ 线程程序里出现它很正常。单个线程长时间等待可能只是线程池空闲;大量工作线程同时等待同一把锁,且业务请求停止推进,才更值得怀疑锁竞争或死锁。
可以先观察线程级 trace,再与线程状态交叉验证:
ps -L -p <ID> -o pid,tid,stat,wchan:32,comm预期输出
PID TID STAT WCHAN COMMAND
<ID> <ID> S futex_wait_queue_me myapp字段内容因内核、权限和程序状态而异,WCHAN 也可能显示为 -。它只能说明内核等待点,不能单独证明死锁。
附加失败时先处理 ptrace 权限
如果 strace -p 返回 Operation not permitted,先确认 PID 是否属于当前用户,再检查系统的 ptrace 限制。部分 Linux 发行版启用了 Yama,kernel.yama.ptrace_scope 会限制对非子进程的附加。
cat /proc/sys/kernel/yama/ptrace_scope 2>/dev/null || echo "Yama not available"预期输出
1实际值可能是 0、1、2、3,也可能系统不存在该文件。不要为了排障长期关闭安全限制;优先使用受控的 sudo strace -p <ID>、同一服务账号或运维平台提供的授权方式。
判断“卡住”的核心不是看到某个调用名字就下结论,而是把 等待调用、持续时间、文件描述符或锁对象、外部依赖 串起来。strace 负责告诉你线程正在向内核等待什么,后续再用 /proc、ss 或线程栈工具确认等待对象是否符合预期。