Linux 与服务器运维 / 系统课时
strace 输出太多怎么过滤
strace 输出太多怎么过滤
strace 默认会记录大量系统调用,直接追踪复杂服务时很容易被噪声淹没。高效做法不是先收集“全部”,而是按系统调用、进程范围和时间信息逐层收窄,只保留能回答当前问题的证据。
学习目标
- 能用
-e trace=只跟踪目标系统调用或调用类别。 - 能控制父子进程、线程和输出文件的范围。
- 能借助时间戳与调用耗时定位慢调用和故障发生时刻。
先决定你到底在找什么
过滤前先把问题写成一句话,例如“哪个 connect() 失败”“进程读取了哪个配置文件”或“哪个系统调用卡了几秒”。不同问题对应不同过滤维度。
| 目标 | 常用选项 | 作用 |
|---|---|---|
| 只看某类调用 | -e trace=... |
按调用名或类别过滤 |
| 跟随子进程/线程 | -f |
继续跟踪 fork/clone 等产生的执行流 |
| 每个进程单独文件 | -ff -o <PATH> |
降低多进程输出交错 |
| 记录绝对时间 | -tt |
对齐应用日志时间 |
| 记录调用耗时 | -T |
找慢系统调用 |
| 增加字符串长度 | -s <N> |
避免关键参数被过早截断 |
| 写入文件 | -o <PATH> |
便于后续检索和比对 |
过滤的原则是先缩小“调用类型”,再缩小“进程范围”,最后补上时间信息。不要一开始同时堆很多选项,否则难以判断究竟是哪条过滤条件起作用。
按系统调用过滤
-e trace= 可以指定具体调用,也可以使用类别。例如网络问题常看 %network,文件问题常看 %file。如果已经知道关注点更窄,直接写调用名会更干净。
下面只跟踪 /usr/bin/printf 的 write(),同时加入绝对时间和单次调用耗时。
strace -tt -T -e trace=write -o /tmp/printf.trace /usr/bin/printf 'ok\n'
cat /tmp/printf.trace预期输出:
ok
<TIME> write(1, "ok\n", 3) = 3 <TIME>
<TIME> +++ exited with 0 +++<TIME> 代表实际时间戳或耗时,每次运行都会不同。这里最重要的是只留下 write(),而不是把加载动态库、内存映射等无关调用全部打印出来。
实际排障时,可以把网络范围写成 -e trace=%network;如果只关心建连,再收窄为 -e trace=connect;需要同时看少数几个调用时,可写成 -e trace=connect,accept,sendto,recvfrom。
控制进程和线程范围
对已经运行的服务,使用 -p <PID> 附加到目标进程;如果程序会创建子进程或线程,再配合 -f。多进程服务输出互相穿插时,-ff -o /tmp/trace 会按进程分别生成带 PID 后缀的文件,更适合逐个分析。
如果只是想知道“哪些系统调用最频繁、耗时占比最高”,可以先用 -c 做汇总,再对可疑调用进行第二次精确跟踪。-c 适合定方向,但它不会保留每次调用的参数与逐行时间,因此不能代替详细 trace。
用时间信息切掉无关区段
-tt 在每行前加高精度绝对时间,适合和应用日志、Nginx 日志或监控告警对齐;-T 在每次系统调用末尾显示耗时,适合找长时间阻塞的 connect()、read()、poll() 等调用。
如果只想观察短时间窗口,可以用 timeout 从外层限制追踪时长;例如十秒窗口先写 timeout 10s,再接完整的 strace 命令。需要注意,时间到后 timeout 会终止 strace,它的退出码反映的是超时控制行为,不等同于被跟踪应用本身的退出码。
当日志仍然过多时,优先继续收窄调用集合,而不是依赖 grep 在海量原始输出里“事后捞针”。strace 的过滤越靠近采集端,文件越小,时间顺序也越容易保留。
一套实用的收窄顺序
面对陌生故障,可以先用宽类别确认方向,例如文件、网络或进程控制;确认后改成具体调用名;再决定是否需要 -f 或 -ff;最后用 -tt 和 -T 对齐故障时刻并检查慢调用。
对于网络连接问题,一个常用的精确模板是 sudo strace -f -tt -T -s 128 -e trace=connect,accept,sendto,recvfrom -p <PID> -o /tmp/net.trace。其中 <PID> 替换为真实进程号,实际文件描述符、地址和时间都可能不同。
真正有效的过滤标准不是“输出越少越好”,而是剩下的每一行都能帮助回答当前假设。先明确问题,再选择调用类别、进程范围和时间维度,通常比把完整 trace 交给文本搜索更快、更可靠。