计算机网络 / 系统课时

strace怎么看系统调用成本

strace怎么看系统调用成本

当服务吞吐下降或 CPU 异常时,只看应用日志很难确认问题是否卡在用户态还是系统调用。本节用 strace 对网络相关调用做短时汇总,比较调用频率、平均耗时和错误次数,把“accept 太多”或“epoll_wait 唤醒过频”这类猜测变成可验证的数据。

学习目标

  • 用 strace -c 汇总网络系统调用的次数、耗时和错误数。
  • 根据 accept、epoll_wait、接收与发送调用判断常见性能形态。
  • 避免把 strace 自身开销和阻塞等待误判成服务瓶颈。

先明确要验证什么

strace 观察的是进程跨越用户态与内核态的系统调用边界。源码里的 recv()、send() 在 Linux 上常会表现为 recvfrom、sendto 等实际系统调用,因此排查时应按内核看到的调用名统计,而不是只盯着源码函数名。

先把假设写成可观测信号:如果怀疑连接抖动,就看 accept/accept4 次数;如果怀疑事件循环空转,就看 epoll_wait 的调用频率和等待时间;如果怀疑收发粒度过小,就看接收、发送调用是否远高于业务请求量。

用汇总模式采一小段窗口

把 <PID> 替换为目标服务进程 ID。-f 会跟踪线程和派生执行流,-c 只输出汇总,-w 让汇总按墙钟延迟统计,便于观察 epoll_wait 这类阻塞调用。执行后运行约 10 秒,再按 Ctrl+C 结束采样。

bash
sudo strace -f -c -w -p <PID> -e trace=accept,accept4,epoll_wait,epoll_pwait,recvfrom,recvmsg,recvmmsg,sendto,sendmsg,sendmmsg

预期输出

text
% time     seconds  usecs/call     calls    errors syscall
------ ----------- ----------- --------- --------- ----------------
 <PCT>   <SECONDS>     <USECS>   <CALLS>  <ERRORS> epoll_wait
 <PCT>   <SECONDS>     <USECS>   <CALLS>  <ERRORS> recvfrom
 <PCT>   <SECONDS>     <USECS>   <CALLS>  <ERRORS> sendto
 <PCT>   <SECONDS>     <USECS>   <CALLS>  <ERRORS> accept4
------ ----------- ----------- --------- --------- ----------------
100.00   <SECONDS>               <CALLS>  <ERRORS> total

实际列值和出现的系统调用会随负载、内核与程序实现变化。若本机 strace 不支持 -w,可以去掉该选项,但此时不要把汇总中的时间直接当成阻塞调用的墙钟等待时间。

从频率和耗时判断瓶颈

calls 要结合采样时长换算成每秒调用数,再与 QPS、连接建立速率和网络吞吐对照。单看 % time 很容易误判,因为“等待很久”与“真正消耗很多 CPU”不是一回事。

  • epoll_wait 调用很多且平均等待极短:可能是超时时间过小、事件反复触发或事件循环空转。若 CPU 同时升高,更值得继续检查。
  • epoll_wait 平均等待较长:对空闲或低负载服务通常是正常现象,表示线程在内核里睡眠等待事件。
  • accept4 次数远高于业务请求量:常见于大量短连接、健康检查过密或客户端频繁重连,应再核对新建连接指标。
  • recvfrom、sendto 次数很高:只能说明收发系统调用频繁,不能单凭次数断言“包太小”;还要结合字节吞吐、请求数和协议帧大小。
  • errors 持续增加:需要看具体错误类型。非阻塞 I/O 中少量 EAGAIN 可以是正常控制流,异常高频才说明可能存在无效探测或事件处理时序问题。

避免测量工具改变被测对象

strace 依赖 ptrace,会增加上下文切换和跟踪开销,高并发服务可能因此出现额外抖动。生产环境应优先使用短采样窗口,并同时记录 QPS、延迟和 CPU,确认挂载 strace 前后业务指标没有被明显改变。

如果 attach 失败,先检查进程归属、ptrace 限制以及容器是否具备相应能力。真正需要长期、低扰动地统计系统调用时,更适合换用 perf 或 eBPF;strace 的优势是快速验证具体调用路径,而不是作为常驻监控工具。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

strace怎么看系统调用成本

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通