Linux 与服务器运维 / 系统课时

用 strace 验证最终故障假设

用 strace 验证最终故障假设

当 CPU、内存、磁盘和网络证据已经把范围缩小到某个进程时,strace 可以直接观察它正在执行或等待的系统调用。本节用短时间、带过滤条件的跟踪验证进程究竟卡在文件、网络还是同步等待上。

学习目标

  • 用 strace 附加到异常进程并记录系统调用耗时
  • 从文件、网络和 futex 调用中识别与故障假设一致的证据
  • 避免把正常阻塞误判为根因,并在修复后重新验证

先把假设写成可观察证据

strace 的价值不是“看看进程在干什么”,而是验证一个已经较具体的假设。附加之前先明确你希望看到什么证据。

假设 重点系统调用或现象 需要确认的条件
文件访问异常 openat、read、stat 是否反复失败、访问了错误路径,或单次调用耗时异常
网络等待 connect、recvfrom、poll、epoll_wait 是否在故障请求窗口内等待,返回值或错误码是否异常
线程同步阻塞 futex 是否在请求处理期间持续等待,并与线程堆栈或业务现象一致

单独看到一次长时间 epoll_wait 或 futex 不能直接证明故障。事件循环空闲时本来就会等待,线程也可能合法地睡眠,所以必须与接口超时发生的时间窗口、线程状态和请求流量一起判断。

短时间附加异常进程

把 <PID> 替换为异常进程 PID,在复现一次故障请求时执行:

bash
sudo strace -f -tt -T -p <PID> -e trace=network,file,futex

预期输出会类似下面这样,具体时间、线程 ID、文件描述符、地址和耗时会不同:

text
[pid <TID>] <TIME> openat(AT_FDCWD, "<PATH>", O_RDONLY) = <FD> <<DURATION>>
[pid <TID>] <TIME> connect(<FD>, {sa_family=AF_INET, sin_port=htons(<PORT>), sin_addr=inet_addr("<IP>")}, <LEN>) = <RESULT> <<DURATION>>
[pid <TID>] <TIME> futex(0x<ADDR>, FUTEX_WAIT_PRIVATE, <VALUE>, NULL) = <RESULT> <<DURATION>>

-f 用于跟踪相关线程或子进程,-tt 输出时间戳,-T 在每次系统调用后显示耗时,-e trace=... 只保留当前假设需要的调用,减少线上噪声。完成一次复现后按 Ctrl+C 结束跟踪,不要长期无过滤地挂在繁忙进程上。

根据返回值和耗时验证假设

如果怀疑文件路径错误,重点看 openat 或 stat 是否持续返回 ENOENT、EACCES 等错误;如果怀疑网络问题,关注 connect 的错误码以及 recvfrom、poll 等是否在请求窗口内长时间等待;如果怀疑锁竞争,则要看多个业务线程是否反复进入较长的 futex 等待。

例如,若原假设是“接口慢因为连接下游超时”,更有价值的证据是故障请求期间出现耗时明显的 connect,或网络等待调用与接口延迟同步出现;如果跟踪中网络调用很快完成,却反复看到文件访问失败,那么原假设就应被推翻,而不是继续围绕网络调参。

修复后用同一方法做对照

修复配置、权限或下游连接问题后,重新发起同一种请求,并再次进行短时间跟踪。验证目标不是“日志看起来更少”,而是原先与故障直接相关的异常系统调用消失或耗时恢复正常,同时接口自身也恢复。

bash
curl -sS -o /dev/null -w 'http_code=%{http_code} total=%{time_total}\n' http://<HOST>:<PORT>/<PATH>

预期输出(接口恢复成功响应时):

text
http_code=200 total=<TIME>

如果接口恢复但 strace 仍出现相同异常,说明修复与现象可能只是暂时相关;如果接口仍慢而原异常已经消失,则应建立新的故障假设,再选择下一组系统调用或其他工具验证。strace 最适合作为“最后一公里”的证据工具,而不是从海量系统调用里盲目寻找答案。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用 strace 验证最终故障假设

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通