Linux 与服务器运维 / 系统课时

程序卡住时怎样看它在等什么

程序卡住时怎样看它在等什么

程序“不动了”不一定是 CPU 忙,也可能只是线程长期阻塞。把 strace 附加到正在运行的进程,可以直接看到线程停在 read、poll、futex、connect 等哪类系统调用,从而判断它是在等输入、等网络、等锁,还是等待别的内核事件。

学习目标

  • 安全地将 strace 附加到正在运行的进程并保留时间信息
  • 根据长期停留的系统调用判断进程正在等待什么
  • 区分正常阻塞、外部依赖等待和可能的线程锁竞争

先确认进程,再短时间附加观察

先用 pgrep、ps 或服务管理器确认目标 PID。附加时建议使用 -tt 打印时间、-T 显示调用耗时,并用 -f 跟踪线程或子进程。生产环境不要一开始就开启所有细节,先观察十几秒通常已经足够判断等待类型。

片段示例:将 <ID> 替换为目标进程 PID。该命令需要对目标进程具备 ptrace 权限,通常要求同一用户,某些系统还需要授权提升权限。

bash
strace -f -tt -T -p <ID>

预期结果

text
strace: Process <ID> attached
<TIME> poll(... <unfinished ...>

实际时间、线程 ID、文件描述符和调用参数会不同。观察完成后按 Ctrl+C 只会让 strace 脱离目标进程,正常情况下不会终止被跟踪程序。

看“长期没有返回”的调用

判断卡住时,不要只数某个系统调用出现多少次,而要关注它是否长时间不返回。strace 常把这类调用显示成 <unfinished ...>,等它恢复后再输出 <... call resumed>。

常见等待类型可以这样理解:

系统调用 常见含义 优先检查
read / recvfrom 等文件、管道、终端或 socket 数据 对应文件描述符连接到哪里
poll / ppoll / epoll_wait 等多个 I/O 事件 网络连接、管道、事件循环
futex 等线程同步原语 锁竞争、条件变量、线程池
connect 建立网络连接尚未完成或失败重试 目标地址、路由、防火墙、服务端状态

如果调用很快返回又立即再次执行,含义可能完全不同。例如不断返回 EAGAIN 的 read 更像忙轮询,而不是“睡死”。

用过滤器减少噪声

对大型进程直接跟踪全部系统调用,输出会非常快。已经怀疑是 I/O 或锁等待时,可以只看相关调用。

bash
strace -f -tt -T -e trace=read,recvfrom,poll,ppoll,epoll_wait,futex,connect -p <ID>

预期输出

text
<TIME> futex(<ADDRESS>, FUTEX_WAIT_PRIVATE, <VALUE>, NULL <unfinished ...>

<ADDRESS>、<VALUE> 和时间都是动态值。若多个线程长期停在同一个 futex 地址附近,说明“锁或条件变量等待”值得继续调查,但 strace 本身不能告诉你是哪一行源码持有锁;这时应结合线程栈工具,例如 gdb、pstack 或语言运行时自带的线程转储。

read 和 poll 要先找文件描述符指向哪里

看到 read(7, ...) 或 poll([{fd=7, ...}], ...) 只能说明进程在等 fd 7,对根因还不够。可以通过 /proc/<ID>/fd 查看这个描述符对应文件、管道还是 socket。

片段示例:将 <ID> 和 <FD> 替换为 trace 中的实际值。

bash
readlink /proc/<ID>/fd/<FD>

预期输出

text
socket:[<ID>]

也可能返回真实文件路径、pipe:[<ID>]、anon_inode:[eventpoll] 等结果。若是 socket,再结合 ss -tpn 查看连接端点和状态;若是管道,则继续确认生产者进程是否仍然存在并有数据写入。

futex 不等于一定死锁

futex() 是用户态锁和条件变量常见的内核等待机制,所以 Java、Python 原生扩展、C/C++ 线程程序里出现它很正常。单个线程长时间等待可能只是线程池空闲;大量工作线程同时等待同一把锁,且业务请求停止推进,才更值得怀疑锁竞争或死锁。

可以先观察线程级 trace,再与线程状态交叉验证:

bash
ps -L -p <ID> -o pid,tid,stat,wchan:32,comm

预期输出

text
PID   TID   STAT WCHAN                            COMMAND
<ID>  <ID>  S    futex_wait_queue_me              myapp

字段内容因内核、权限和程序状态而异,WCHAN 也可能显示为 -。它只能说明内核等待点,不能单独证明死锁。

附加失败时先处理 ptrace 权限

如果 strace -p 返回 Operation not permitted,先确认 PID 是否属于当前用户,再检查系统的 ptrace 限制。部分 Linux 发行版启用了 Yama,kernel.yama.ptrace_scope 会限制对非子进程的附加。

bash
cat /proc/sys/kernel/yama/ptrace_scope 2>/dev/null || echo "Yama not available"

预期输出

text
1

实际值可能是 0、1、2、3,也可能系统不存在该文件。不要为了排障长期关闭安全限制;优先使用受控的 sudo strace -p <ID>、同一服务账号或运维平台提供的授权方式。

判断“卡住”的核心不是看到某个调用名字就下结论,而是把 等待调用、持续时间、文件描述符或锁对象、外部依赖 串起来。strace 负责告诉你线程正在向内核等待什么,后续再用 /proc、ss 或线程栈工具确认等待对象是否符合预期。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

程序卡住时怎样看它在等什么

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通