嵌入式 Linux 与 RTOS / 系统课时
保留崩溃现场与故障证据
保留崩溃现场与故障证据
现场设备最棘手的问题不是“会崩”,而是重启后证据消失。本课用 pstore/ramoops 把 panic 与控制台尾部写入保留内存,并把版本、启动链与复位原因一并归档,让一次难复现故障能够在下一次启动后继续分析。
学习目标
- 能配置 pstore/ramoops 的内核能力和保留内存
- 能在重启后读取并归档 panic、console 与 pmsg 记录
- 能把崩溃日志和软件版本、启动参数、复位原因关联起来
先明确 pstore/ramoops 能保留什么
pstore 是内核持久化错误记录框架,ramoops 是把记录写入一段预留 RAM 的后端。它适合保存 panic、oops、console 尾部等“重启前最后证据”,随后由下一次启动的系统从 /sys/fs/pstore 读取。
需要注意,普通 RAM 只能跨“温重启”保留,真正断电后通常会丢失。若产品要求跨完全掉电保存,就需要 SoC retention RAM、NVRAM、闪存日志区或外部存储配合,不能把 ramoops 当成掉电不失的存储。

配置内核与预留内存
调试内核至少需要 CONFIG_PSTORE=y 与 CONFIG_PSTORE_RAM=y。若还希望保存控制台和用户态 pmsg,可按产品需要启用 CONFIG_PSTORE_CONSOLE 与 CONFIG_PSTORE_PMSG。这些能力最好直接编入内核,避免崩溃时相关模块尚未加载。
下面是设备树片段示例,地址和大小必须按实际板级内存布局重新规划,不能直接照抄:
reserved-memory {
#address-cells = <2>;
#size-cells = <2>;
ranges;
ramoops@8ff00000 {
compatible = "ramoops";
reg = <0x0 0x8ff00000 0x0 0x00100000>;
record-size = <0x00020000>;
console-size = <0x00020000>;
pmsg-size = <0x00020000>;
};
};这段配置会为 ramoops 预留 1 MiB 内存,并划分 panic 记录、console 和 pmsg 空间。地址必须避开内核、CMA、固件共享区和安全世界占用区域;若 bootloader 在重启时清零整段 DRAM,ramoops 也无法保留任何记录。
启动后验证记录区是否生效
系统启动后先确认 ramoops 驱动已经注册,再查看 pstore 文件系统。下面的命令不会制造故障,只验证当前配置:
sudo mount -t pstore pstore /sys/fs/pstore 2>/dev/null || true
dmesg --color=never | grep -iE 'pstore|ramoops' || true
ls -la /sys/fs/pstore预期输出
<TIME> ramoops: using <SIZE> at <ADDRESS>
<TIME> pstore: Registered ramoops as persistent store backend
total <N>
drwxr-xr-x <...> .
drwxr-xr-x <...> ..不同内核版本的日志措辞会有差异;如果系统从未发生可保存的异常,目录为空是正常现象。若驱动完全没有注册,优先检查内核配置、设备树节点和保留区是否被其他内存声明覆盖。
做一次受控的重启后验收
在隔离的实验板上,可以用 SysRq 人为触发 panic,验证“崩溃写入、自动重启、下一次启动读取”整条链路。生产设备不要直接执行这个测试。
sudo sh -c 'echo c > /proc/sysrq-trigger'预期结果
Kernel panic - not syncing: sysrq triggered crash
<DEVICE_REBOOTS>设备重新启动后读取 pstore:
sudo find /sys/fs/pstore -maxdepth 1 -type f -print
sudo sh -c 'for f in /sys/fs/pstore/*; do [ -f "$f" ] || continue; echo "== $f =="; sed -n "1,80p" "$f"; done'预期输出
/sys/fs/pstore/dmesg-ramoops-<ID>
== /sys/fs/pstore/dmesg-ramoops-<ID> ==
<PREVIOUS_BOOT_PANIC_LOG>文件名会随内核和记录槽位变化,因此用 <ID> 表示动态值。若系统使用 systemd-pstore 等用户态归档器,原始文件可能已经被搬到持久目录,应同时检查该服务的归档位置。
让日志具备可关联的版本元数据
单独一份 panic 栈往往不够。每次启动至少应记录内核版本、构建 ID、bootloader 版本、DTB 或板级版本、完整 kernel cmdline、根文件系统版本、启动计数和硬件 reset cause。这样才能回答“哪一批镜像、哪种板型、什么复位原因发生了同一个故障”。
pstore 空间很小,适合保存崩溃尾部,不适合塞入大量业务日志。版本元数据可以在正常启动时写入独立的持久化小文件或故障数据库;若平台启用了 pmsg,也可把少量关键标签送入 pstore。归档时再把 pstore 记录与这些元数据按同一次 boot ID 或启动计数绑定。
最终验收标准不是“目录里有文件”,而是一次异常发生后,下一次启动能够拿到上一轮的 panic/console 证据,并明确关联到固件版本、板级版本和复位原因。只有这条证据链闭合,现场的偶发崩溃才真正可追踪。