操作系统 / 系统课时
用 strace 追踪 Socket 调用
用 strace 追踪 Socket 调用
当服务“卡住”却没有明确异常日志时,strace 可以直接观察线程进入了哪个 Socket 相关系统调用、调用持续多久以及内核返回了什么错误。本节用最小过滤集把问题定位到连接、读取、写入或事件等待阶段,并避免把正常的非阻塞返回误判为故障。
学习目标
- 使用
-tt、-T、-f和系统调用过滤器捕获网络调用时序。 - 根据返回值、错误码和阻塞时长区分连接、读写与事件等待问题。
- 在生产环境中以短时间、窄过滤范围降低
strace的观测开销。
建立最小追踪视图
先用实际服务 PID 替换 <ID>。-tt 给每行增加高精度时间戳,-T 显示系统调用耗时,-f 跟踪线程和子进程,-yy 尽量补充文件描述符对应的 Socket 信息。%network 覆盖 Socket、连接、收发等网络调用,额外加入 read、write 和常见事件等待调用,避免程序通过通用 I/O 接口读写 Socket 时被漏掉。
sudo strace -tt -T -f -yy -e trace=%network,read,write,epoll_wait,poll,ppoll,select,pselect6 -p <ID>预期结果形态如下,时间、FD、地址和耗时均以实际运行结果为准:
<TIME> connect(<FD>, <ADDRESS>, <LEN>) = -1 EINPROGRESS (<ERROR_TEXT>) <0.0000XX>
<TIME> epoll_wait(<EPFD>, <EVENTS>, <MAXEVENTS>, <TIMEOUT>) = 1 <0.25XXXX>
<TIME> read(<FD>, "OK", 4096) = 2 <0.0000XX>如果 attach 失败并出现 Operation not permitted,先确认追踪者与目标进程的用户关系,以及系统的 ptrace 安全策略;不要为了排障长期放宽全机安全设置。

按返回值和耗时判断卡点
strace 最有价值的不是“看到了某个调用”,而是把调用位置、返回值和耗时放在一起判断。
| 观察到的调用 | 典型现象 | 优先判断 |
|---|---|---|
connect() |
长时间后 ETIMEDOUT |
TCP 建连路径、网络可达性、防火墙或对端监听状态 |
connect() |
立即 ECONNREFUSED |
目标主机可达,但端口没有监听或被主动拒绝 |
connect() |
EINPROGRESS |
非阻塞 Socket 的正常中间状态,应继续等可写事件 |
read() / recvfrom() |
长时间才返回 | 对端迟迟未发数据,或协议上正在等待完整请求/响应 |
read() / recvfrom() |
返回 0 |
对端执行了有序关闭,不是“读到空字符串后继续等待” |
write() / sendto() |
EPIPE、ECONNRESET |
对端已经关闭或复位连接 |
read() / write() |
EAGAIN |
非阻塞模式下暂时不可读或不可写,通常应回到事件循环 |
epoll_wait() |
长时间等待 | 空闲服务可能完全正常;要结合是否本应有事件判断 |
-T 显示的是系统调用从进入到返回的持续时间。对于阻塞式 read(),长耗时可以直接说明线程确实睡在读取阶段;对于 epoll_wait(),长耗时则可能只是服务空闲。不要只凭“这一行用了 5 秒”就下结论。
从现象反推程序阶段
如果请求发出后迟迟没有建立连接,重点看 connect() 以及之前是否有 DNS 相关的 sendto()、recvfrom()。如果连接已建立但响应迟迟不来,重点看 read()/recvfrom() 的耗时和返回值。写入失败时则看 write()/sendto() 是否返回 EPIPE、ECONNRESET,以及是否伴随 SIGPIPE。
事件驱动程序要额外看 epoll_wait()。持续返回事件但业务代码没有继续 read()/write(),更像事件处理逻辑问题;持续超时返回 0,则要检查超时时间和事件注册;长期阻塞且系统本就没有新事件,则不应把它当成故障。
如果过滤后的跟踪几乎没有网络调用,但线程仍然不前进,问题可能根本不在 Socket。此时再扩大范围检查 futex、定时等待、文件 I/O 等系统调用,比一开始无过滤地追踪所有 syscall 更高效。
用短窗口捕获问题现场
生产环境里不要长时间无过滤 attach。下面把追踪限制为 15 秒并写入文件,适合在问题出现时抓一个短窗口;将 <ID> 替换为实际 PID。
sudo timeout 15s strace -tt -T -f -e trace=%network,read,write,close,epoll_wait -p <ID> -o /tmp/socket.strace
tail -n 5 /tmp/socket.strace预期结果形态:
<TIME> epoll_wait(<EPFD>, <EVENTS>, <MAXEVENTS>, <TIMEOUT>) = <N> <DURATION>
<TIME> accept4(<FD>, <ADDRESS>, <LEN>, <FLAGS>) = <NEW_FD> <DURATION>
<TIME> read(<FD>, <BUFFER>, <SIZE>) = <N> <DURATION>
<TIME> write(<FD>, <BUFFER>, <SIZE>) = <N> <DURATION>
<TIME> close(<FD>) = 0 <DURATION>strace 会让被跟踪进程在系统调用边界接受 ptrace 介入,高吞吐服务中应控制持续时间和过滤范围。排障时先回答“线程究竟卡在哪类 syscall”,再针对这一小段调用链深入;这样既减少噪声,也能避免把正常的 EINPROGRESS、EAGAIN 和空闲 epoll_wait() 误判成网络故障。