C / C++ / 系统课时

处理 core dump 与线上崩溃

处理 core dump 与线上崩溃

线上进程收到致命信号后,日志往往只能告诉你“崩了”。core dump 保留崩溃瞬间的进程内存与寄存器状态;配合完全匹配的可执行文件、调试符号和 GDB,可以还原崩溃线程、调用栈与关键变量。

学习目标

  • 能确认 Linux 是否允许生成 core dump,并理解 core_pattern 决定的保存方式
  • 能为可执行文件保留独立调试符号,生成并定位一个可复现的 core 文件
  • 能用 GDB 检查崩溃线程、调用栈、寄存器、局部变量和关键内存,并识别符号不匹配问题

先确认 core dump 能否落地

core 文件能否产生,至少受进程的 core 大小限制和内核 core_pattern 影响。先读取当前设置,不要一上来就改系统全局配置。

bash
printf 'core_limit='
ulimit -c
printf 'core_pattern='
cat /proc/sys/kernel/core_pattern

预期输出

text
core_limit=<VALUE>
core_pattern=<CORE_PATTERN>

core_limit 为 0 时,当前 shell 启动的进程通常不会写普通 core 文件;可在实验 shell 中执行 ulimit -c unlimited。core_pattern 若以 | 开头,表示内核把 core 数据交给用户态处理程序,而不是直接按文件名写盘;使用 systemd 的机器常需要通过现有的 coredump 管理方式取回文件。

构造崩溃并保留独立符号

线上常见做法是部署较精简的二进制,同时把调试信息单独归档。下面用 objcopy 生成 crash_demo.debug,再通过 .gnu_debuglink 让 GDB 能找到匹配符号。

bash
cat > crash_demo.c <<'EOF'
#include <stdio.h>

typedef struct {
    int id;
    char name[16];
} record_t;

__attribute__((noinline))
static void crash(record_t *r) {
    fprintf(stderr, "crashing id=%d name=%s\n", r->id, r->name);
    /* 故意写空指针,制造一个稳定的 SIGSEGV。 */
    volatile int *p = NULL;
    *p = r->id;
}

int main(void) {
    record_t r = {42, "worker"};
    crash(&r);
    return 0;
}
EOF

gcc -g -O0 -fno-omit-frame-pointer -o crash_demo crash_demo.c
objcopy --only-keep-debug crash_demo crash_demo.debug
strip --strip-debug crash_demo
objcopy --add-gnu-debuglink=crash_demo.debug crash_demo
readelf --string-dump=.gnu_debuglink crash_demo

预期输出

text
String dump of section '.gnu_debuglink':
  [     0]  crash_demo.debug

调试时必须让 core、可执行文件和符号文件来自同一次构建。仅仅“源码版本看起来一样”并不够;编译器、链接布局或依赖变化都可能让地址映射失真。

Core dump 调试材料关系图

在实验环境生成 core 文件

为了得到确定的文件路径,下面暂时把系统级 core_pattern 指向当前实验目录,并在程序崩溃后立即恢复原值。此操作需要管理员权限,只适合隔离的实验机;生产环境应遵循既有的 coredump 策略。

bash
mkdir -p "$PWD/cores"
ulimit -c unlimited

original_pattern=$(cat /proc/sys/kernel/core_pattern)
sudo sysctl -w "kernel.core_pattern=$PWD/cores/core.%e.%p" >/dev/null

status=0
./crash_demo || status=$?

sudo sysctl -w "kernel.core_pattern=$original_pattern" >/dev/null
printf 'exit_status=%d\n' "$status"
ls -1 cores/core.crash_demo.*

预期输出

text
crashing id=42 name=worker
Segmentation fault (core dumped)
exit_status=139
cores/core.crash_demo.<PID>

SIGSEGV 的信号号是 11,Bash 常把信号退出状态表示为 128 + 11 = 139;终端中的崩溃提示文字可能因 shell 和语言环境不同而变化。若没有生成文件,应依次检查 core 大小限制、core_pattern、目标目录权限、磁盘空间,以及进程是否允许被转储。

用 GDB 还原崩溃现场

GDB 需要同时加载可执行文件和 core。因为 .gnu_debuglink 已指向同目录的 crash_demo.debug,它可以恢复源码行和局部变量。批处理方式便于把关键证据一次性导出。

bash
core_file=$(ls -1t cores/core.crash_demo.* | head -n1)

gdb -q -batch \
  -ex 'set pagination off' \
  -ex 'info threads' \
  -ex 'bt' \
  -ex 'frame 0' \
  -ex 'info locals' \
  -ex 'p *r' \
  -ex 'info registers' \
  ./crash_demo "$core_file"

预期输出

text
Core was generated by `./crash_demo'.
Program terminated with signal SIGSEGV, Segmentation fault.
* 1    Thread <ID>  crash (r=0x<ADDR>) at crash_demo.c:<LINE>
#0  crash (r=0x<ADDR>) at crash_demo.c:<LINE>
#1  main () at crash_demo.c:<LINE>
p = (volatile int *) 0x0
$1 = {id = 42, name = <CHAR_ARRAY>}
<REGISTER_DUMP>

info threads 中带 * 的线程是当前选中线程;多线程线上 core 还应执行 thread apply all bt 对比其他线程是否在持锁、等待或递归。info registers 输出取决于 CPU 架构,重点是保留指令指针、栈指针等现场值,再结合栈帧和反汇编判断故障指令。

从崩溃点追到真正根因

本例直接在空指针写入处崩溃,所以 p = 0x0 很接近根因。真实故障常不同:越界写可能提前破坏堆,直到稍后 free 才崩;栈内存被覆盖后,回溯甚至会断裂;优化构建还可能让局部变量显示为 <optimized out>。因此“最后一帧”是证据入口,不应自动等同于根因。

排查时先确认信号和崩溃线程,再查看完整调用栈;随后检查参数、局部变量、关键对象和寄存器,最后回看更早的内存破坏可能性。若函数名大量变成地址、源码行明显不可信或变量无法解释,优先核对二进制与符号是否来自同一构建,而不是继续猜代码逻辑。

core dump 的价值在于冻结了一个可复查的故障现场。只要转储策略可控、构建产物可追溯,并把“core + 原始二进制 + 匹配符号”作为一组保存,线上偶发崩溃就能从一条模糊日志变成可验证的调用栈、寄存器和内存证据。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

处理 core dump 与线上崩溃

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通