计算机网络 / 系统课时
strace怎么看系统调用成本
strace怎么看系统调用成本
当服务吞吐下降或 CPU 异常时,只看应用日志很难确认问题是否卡在用户态还是系统调用。本节用 strace 对网络相关调用做短时汇总,比较调用频率、平均耗时和错误次数,把“accept 太多”或“epoll_wait 唤醒过频”这类猜测变成可验证的数据。
学习目标
- 用
strace -c汇总网络系统调用的次数、耗时和错误数。 - 根据
accept、epoll_wait、接收与发送调用判断常见性能形态。 - 避免把
strace自身开销和阻塞等待误判成服务瓶颈。
先明确要验证什么
strace 观察的是进程跨越用户态与内核态的系统调用边界。源码里的 recv()、send() 在 Linux 上常会表现为 recvfrom、sendto 等实际系统调用,因此排查时应按内核看到的调用名统计,而不是只盯着源码函数名。
先把假设写成可观测信号:如果怀疑连接抖动,就看 accept/accept4 次数;如果怀疑事件循环空转,就看 epoll_wait 的调用频率和等待时间;如果怀疑收发粒度过小,就看接收、发送调用是否远高于业务请求量。
用汇总模式采一小段窗口
把 <PID> 替换为目标服务进程 ID。-f 会跟踪线程和派生执行流,-c 只输出汇总,-w 让汇总按墙钟延迟统计,便于观察 epoll_wait 这类阻塞调用。执行后运行约 10 秒,再按 Ctrl+C 结束采样。
sudo strace -f -c -w -p <PID> -e trace=accept,accept4,epoll_wait,epoll_pwait,recvfrom,recvmsg,recvmmsg,sendto,sendmsg,sendmmsg预期输出
% time seconds usecs/call calls errors syscall
------ ----------- ----------- --------- --------- ----------------
<PCT> <SECONDS> <USECS> <CALLS> <ERRORS> epoll_wait
<PCT> <SECONDS> <USECS> <CALLS> <ERRORS> recvfrom
<PCT> <SECONDS> <USECS> <CALLS> <ERRORS> sendto
<PCT> <SECONDS> <USECS> <CALLS> <ERRORS> accept4
------ ----------- ----------- --------- --------- ----------------
100.00 <SECONDS> <CALLS> <ERRORS> total实际列值和出现的系统调用会随负载、内核与程序实现变化。若本机 strace 不支持 -w,可以去掉该选项,但此时不要把汇总中的时间直接当成阻塞调用的墙钟等待时间。
从频率和耗时判断瓶颈
calls 要结合采样时长换算成每秒调用数,再与 QPS、连接建立速率和网络吞吐对照。单看 % time 很容易误判,因为“等待很久”与“真正消耗很多 CPU”不是一回事。
epoll_wait调用很多且平均等待极短:可能是超时时间过小、事件反复触发或事件循环空转。若 CPU 同时升高,更值得继续检查。epoll_wait平均等待较长:对空闲或低负载服务通常是正常现象,表示线程在内核里睡眠等待事件。accept4次数远高于业务请求量:常见于大量短连接、健康检查过密或客户端频繁重连,应再核对新建连接指标。recvfrom、sendto次数很高:只能说明收发系统调用频繁,不能单凭次数断言“包太小”;还要结合字节吞吐、请求数和协议帧大小。errors持续增加:需要看具体错误类型。非阻塞 I/O 中少量EAGAIN可以是正常控制流,异常高频才说明可能存在无效探测或事件处理时序问题。
避免测量工具改变被测对象
strace 依赖 ptrace,会增加上下文切换和跟踪开销,高并发服务可能因此出现额外抖动。生产环境应优先使用短采样窗口,并同时记录 QPS、延迟和 CPU,确认挂载 strace 前后业务指标没有被明显改变。
如果 attach 失败,先检查进程归属、ptrace 限制以及容器是否具备相应能力。真正需要长期、低扰动地统计系统调用时,更适合换用 perf 或 eBPF;strace 的优势是快速验证具体调用路径,而不是作为常驻监控工具。