Linux 与服务器运维 / 系统课时
用 strace 验证最终故障假设
用 strace 验证最终故障假设
当 CPU、内存、磁盘和网络证据已经把范围缩小到某个进程时,strace 可以直接观察它正在执行或等待的系统调用。本节用短时间、带过滤条件的跟踪验证进程究竟卡在文件、网络还是同步等待上。
学习目标
- 用
strace附加到异常进程并记录系统调用耗时 - 从文件、网络和
futex调用中识别与故障假设一致的证据 - 避免把正常阻塞误判为根因,并在修复后重新验证
先把假设写成可观察证据
strace 的价值不是“看看进程在干什么”,而是验证一个已经较具体的假设。附加之前先明确你希望看到什么证据。
| 假设 | 重点系统调用或现象 | 需要确认的条件 |
|---|---|---|
| 文件访问异常 | openat、read、stat |
是否反复失败、访问了错误路径,或单次调用耗时异常 |
| 网络等待 | connect、recvfrom、poll、epoll_wait |
是否在故障请求窗口内等待,返回值或错误码是否异常 |
| 线程同步阻塞 | futex |
是否在请求处理期间持续等待,并与线程堆栈或业务现象一致 |
单独看到一次长时间 epoll_wait 或 futex 不能直接证明故障。事件循环空闲时本来就会等待,线程也可能合法地睡眠,所以必须与接口超时发生的时间窗口、线程状态和请求流量一起判断。
短时间附加异常进程
把 <PID> 替换为异常进程 PID,在复现一次故障请求时执行:
sudo strace -f -tt -T -p <PID> -e trace=network,file,futex预期输出会类似下面这样,具体时间、线程 ID、文件描述符、地址和耗时会不同:
[pid <TID>] <TIME> openat(AT_FDCWD, "<PATH>", O_RDONLY) = <FD> <<DURATION>>
[pid <TID>] <TIME> connect(<FD>, {sa_family=AF_INET, sin_port=htons(<PORT>), sin_addr=inet_addr("<IP>")}, <LEN>) = <RESULT> <<DURATION>>
[pid <TID>] <TIME> futex(0x<ADDR>, FUTEX_WAIT_PRIVATE, <VALUE>, NULL) = <RESULT> <<DURATION>>-f 用于跟踪相关线程或子进程,-tt 输出时间戳,-T 在每次系统调用后显示耗时,-e trace=... 只保留当前假设需要的调用,减少线上噪声。完成一次复现后按 Ctrl+C 结束跟踪,不要长期无过滤地挂在繁忙进程上。
根据返回值和耗时验证假设
如果怀疑文件路径错误,重点看 openat 或 stat 是否持续返回 ENOENT、EACCES 等错误;如果怀疑网络问题,关注 connect 的错误码以及 recvfrom、poll 等是否在请求窗口内长时间等待;如果怀疑锁竞争,则要看多个业务线程是否反复进入较长的 futex 等待。
例如,若原假设是“接口慢因为连接下游超时”,更有价值的证据是故障请求期间出现耗时明显的 connect,或网络等待调用与接口延迟同步出现;如果跟踪中网络调用很快完成,却反复看到文件访问失败,那么原假设就应被推翻,而不是继续围绕网络调参。
修复后用同一方法做对照
修复配置、权限或下游连接问题后,重新发起同一种请求,并再次进行短时间跟踪。验证目标不是“日志看起来更少”,而是原先与故障直接相关的异常系统调用消失或耗时恢复正常,同时接口自身也恢复。
curl -sS -o /dev/null -w 'http_code=%{http_code} total=%{time_total}\n' http://<HOST>:<PORT>/<PATH>预期输出(接口恢复成功响应时):
http_code=200 total=<TIME>如果接口恢复但 strace 仍出现相同异常,说明修复与现象可能只是暂时相关;如果接口仍慢而原异常已经消失,则应建立新的故障假设,再选择下一组系统调用或其他工具验证。strace 最适合作为“最后一公里”的证据工具,而不是从海量系统调用里盲目寻找答案。