嵌入式 Linux 与 RTOS / 系统课时

用 ftrace 追踪内核路径

用 ftrace 追踪内核路径

当驱动日志只能说明“发生了什么”,却看不清调用顺序和时间消耗时,可以用 ftrace 直接观察内核函数路径。本节用 tracefs 配置 function_graph,同时按函数与进程过滤,记录一次可重复的读取路径,并据此判断异常调用链和延迟突增位置。

学习目标

  • 区分 function、function_graph 与事件追踪的适用范围。
  • 通过 tracefs 设置追踪器、函数过滤器和 PID 过滤器,采集一段可控的调用链。
  • 从嵌套层级与耗时字段中定位执行顺序异常和慢函数,并在结束后恢复追踪状态。

先选对追踪方式

function 关注“哪些函数被调用”,输出紧凑,适合先做路径确认;function_graph 同时记录函数进入、返回和耗时,更适合分析驱动调用链与延迟;事件追踪记录预定义 tracepoint,例如调度、IRQ、块设备或电源事件,字段更稳定,也更适合长期脚本化分析。

如果问题是“为什么某次 I/O 走了意外的函数链”或“哪个内核函数突然变慢”,先用 function_graph。如果已经怀疑调度、IRQ 或某个子系统事件,再切到相应 tracepoint,通常比把整个内核函数都打开更低噪声。

用 tracefs 记录一次函数调用链

下面示例在 root shell 中准备 tracefs,选择系统里可追踪的 vfs_read 或 ksys_read,把当前 shell PID 写入 set_ftrace_pid,再用 Bash 内建 read 触发一次 /proc/version 读取。脚本通过 trap 在退出时关闭追踪、清空过滤器并恢复 nop,避免调试状态污染后续测试。

bash
sudo bash -c '
set -e
TR=/sys/kernel/tracing

if [ ! -r "$TR/available_tracers" ]; then
  mkdir -p "$TR"
  grep -q " $TR tracefs " /proc/mounts || mount -t tracefs tracefs "$TR"
fi

grep -qw function_graph "$TR/available_tracers"

FUNC=vfs_read
grep -qw "$FUNC" "$TR/available_filter_functions" || FUNC=ksys_read
grep -qw "$FUNC" "$TR/available_filter_functions"

cleanup() {
  echo 0 > "$TR/tracing_on"
  : > "$TR/set_graph_function"
  : > "$TR/set_ftrace_pid"
  echo nop > "$TR/current_tracer"
}
trap cleanup EXIT

echo 0 > "$TR/tracing_on"
echo nop > "$TR/current_tracer"
: > "$TR/trace"
echo function_graph > "$TR/current_tracer"
echo "$FUNC" > "$TR/set_graph_function"
echo $$ > "$TR/set_ftrace_pid"

echo 1 > "$TR/tracing_on"
IFS= read -r LINE < /proc/version || true
echo 0 > "$TR/tracing_on"

sed -n "1,20p" "$TR/trace"
'

预期输出

text
# tracer: function_graph
#
# CPU  DURATION                  FUNCTION CALLS
<CPU>)               |  <FUNC>() {
<CPU>)   <DURATION> us |    ...
<CPU>)   <DURATION> us |  }

<FUNC> 会是本机实际可追踪的 vfs_read 或 ksys_read,CPU 编号与耗时也会变化。若 function_graph 不在 available_tracers 中,说明当前内核没有提供该追踪器,不能靠写 current_tracer 强行启用。

ftrace 从过滤条件到 trace 缓冲区的采集链路

用过滤器把噪声压到可读范围

ftrace 最常见的误用是先开全局函数追踪,再从海量输出里找目标。函数过滤器应尽量写具体入口:分析一条驱动路径时,把根函数写入 set_graph_function,让 function_graph 只展开这棵调用树;只关心单个函数命中次数时,则使用 set_ftrace_filter 配合 function 追踪器更直接。

set_ftrace_pid 只匹配指定任务。若目标程序会频繁 fork 子进程,仅写父 PID 可能漏掉真正执行 I/O 的子任务;此时应确认实际执行线程或进程的 PID,再决定是否启用跟随 fork 的相关选项。过滤越早、范围越窄,环形缓冲区被无关调用覆盖的概率越低。

从调用顺序和耗时定位异常

读取 trace 时先看嵌套关系,再看耗时。调用顺序错误通常表现为预期的子函数缺失、出现了额外分支,或同一入口重复进入;延迟问题则表现为某一级函数占据了明显更长的持续时间。不要只盯最深层函数,因为父函数的等待时间可能来自锁竞争、调度切换或下层设备响应。

如果异常只在偶发时刻出现,应进一步把函数追踪与调度、IRQ 或设备 tracepoint 组合,而不是无限扩大 function_graph 范围。一次可靠的 ftrace 证据应同时回答“哪个任务触发”“经过哪些函数”“在哪一层耗时异常”这三个问题;脚本退出后再确认 current_tracer 已恢复为 nop,避免后续性能数据被追踪开销干扰。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用 ftrace 追踪内核路径

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通