嵌入式 Linux 与 RTOS / 系统课时
分析死锁、卡死与 Watchdog
分析死锁、卡死与 Watchdog
系统“卡住”并不等于同一种故障:可能是单个任务长期阻塞、某个 CPU 不再调度、RCU 无法推进,也可能由硬件 Watchdog 直接复位。本课建立一条从日志特征、任务栈到锁与上下文约束的定位链路。
学习目标
- 能区分 hung task、soft lockup、RCU stall 与 Watchdog 复位的典型证据
- 能用 SysRq、任务栈和内核日志缩小阻塞点
- 能识别“中断上下文睡眠”和“持自旋锁睡眠”等高风险错误
先按现象判断卡死类型
hung task 通常表示某个任务在不可中断睡眠状态停留超过 hung_task_timeout_secs。日志常出现 INFO: task ... blocked for more than ... seconds,任务栈里会看到 schedule、互斥锁、completion 或块设备等待路径。它首先说明“任务等不到资源”,不等于 CPU 已经完全死锁。
soft lockup 表示某个 CPU 很长时间没有让调度器正常运行,常见原因是无限循环、长时间关闭抢占、持有自旋锁不释放或中断处理时间失控。RCU stall 则表示 RCU 的宽限期长期无法推进,既可能是 RCU 读侧临界区过长,也可能是 CPU 被别的路径饿死后的连带症状。
硬件 Watchdog 复位与上述软件检测器不是一回事。它只说明系统在规定时间内没有“喂狗”;真正根因仍要回到上一次启动留下的栈、panic、lockup 或复位原因寄存器。

先把现场栈抓出来
如果串口仍可用并且内核启用了 Magic SysRq,可以先输出所有任务与阻塞任务的栈,而不是立即复位。下面的动作只触发诊断输出,不会主动制造崩溃。
sudo sh -c 'echo t > /proc/sysrq-trigger'
sudo sh -c 'echo w > /proc/sysrq-trigger'
sudo dmesg --color=never | tail -n 120预期结果
<TIME> SysRq : Show State
<TIME> task:<TASK> state:<STATE> stack:<STACK>
<TIME> SysRq : Show Blocked State
<TIME> task:<BLOCKED_TASK> state:D stack:<STACK>实际任务名、状态和栈地址会不同。若 /proc/sysrq-trigger 不存在,应检查 CONFIG_MAGIC_SYSRQ;若写入被拒绝,应先检查 root 权限和安全策略。kernel.sysrq 主要影响键盘触发方式,不应把它当成 proc 触发失败的唯一判断依据。
从栈顶反推谁在等谁
定位时不要只盯最后一行。对 hung task,应从栈中找第一次进入等待的函数,例如 mutex、completion、等待队列或块 I/O,再继续追它依赖的资源拥有者。多个任务若都停在同一把锁或同一 I/O 完成点,优先检查该资源的释放路径。
对 soft lockup,要关注报告中的 CPU 编号和当前栈。如果栈长期停在同一个循环、spin_lock 竞争、关闭抢占或关闭本地中断的路径,说明 CPU 没有机会返回调度点。RCU stall 则应同时查看被点名 CPU、是否存在长时间 rcu_read_lock 区域,以及是否有长期禁止抢占或中断的代码。
启用 lockdep 的调试内核还能更早发现锁顺序反转。可先确认构建配置是否包含相关能力:
if [ -r /proc/config.gz ]; then
zcat /proc/config.gz | grep -E 'CONFIG_(PROVE_LOCKING|LOCKDEP|DEBUG_LOCK_ALLOC)=' || true
else
echo "/proc/config.gz unavailable; check the kernel build config instead"
fi预期输出
CONFIG_PROVE_LOCKING=y
CONFIG_LOCKDEP=y
CONFIG_DEBUG_LOCK_ALLOC=y如果实际没有这些行,说明当前内核未暴露或未启用相应配置,不能据此断言“没有锁问题”。
避免在错误上下文里睡眠
最常见的设计错误,是在原子上下文里调用可能睡眠的 API。中断处理程序、持自旋锁区间以及显式关闭抢占的路径,都不能调用会调度出去的函数,例如会阻塞的 mutex、可能睡眠的内存分配或某些总线访问。
下面是内核代码的片段示例,依赖设备驱动上下文,重点展示“先退出自旋锁,再执行可睡眠操作”的结构:
spin_lock_irqsave(&dev->lock, flags);
/* 只做必须在原子上下文完成的状态更新 */
dev->pending = true;
spin_unlock_irqrestore(&dev->lock, flags);
/* 这里已经不持有自旋锁,才允许进入可能睡眠的路径 */
mutex_lock(&dev->io_mutex);
ret = do_blocking_io(dev);
mutex_unlock(&dev->io_mutex);这段代码不能脱离驱动上下文独立运行。调试版本中可结合 might_sleep()、lockdep 和 CONFIG_DEBUG_ATOMIC_SLEEP 更早暴露“在不可睡眠上下文里睡眠”的错误。
修复后验证是否真的消失
修复完成后应同时验证“症状”和“根因证据”。让原工作负载持续运行超过原故障触发窗口,确认不再出现 hung task、soft lockup 或 RCU stall;同时观察 Watchdog 是否仍复位、关键任务是否持续推进、锁等待时间是否回落。
如果系统只靠“延长 Watchdog 超时”恢复稳定,通常只是把故障推迟。正确做法是用日志类型判断卡死层级,用任务栈找到等待或占用者,再回到锁顺序、阻塞 API 和执行上下文上修正。