Linux 与服务器运维 / 系统课时
检查服务日志和内核事件
检查服务日志和内核事件
当服务突然退出、请求报错或主机出现 OOM、磁盘异常时,单看一份应用日志往往不够。有效排查需要把 systemd journal、应用日志和内核事件放到同一时间线上,判断哪个事件先发生、哪个只是后果,从而建立可信的故障因果链。
学习目标
- 能按统一时间窗口收集服务、应用和内核日志
- 能识别 OOM、设备错误与服务退出之间的先后关系
- 能避免因时区、时间戳格式和日志缺口造成误判
先固定故障时间窗口
先从监控告警、用户报错或服务状态中确定故障大致发生时间,再向前后各扩几分钟。窗口太大容易被历史噪声淹没,窗口太小又可能漏掉真正的前置事件。
下面示例检查最近 15 分钟的服务日志、应用日志和内核事件。把 myapp.service 与 /var/log/myapp/app.log 换成实际名称和路径。
SERVICE="myapp.service"
APP_LOG="/var/log/myapp/app.log"
journalctl -u "$SERVICE" --since "-15 min" --no-pager -o short-iso
tail -n 200 "$APP_LOG"
journalctl -k --since "-15 min" --no-pager -o short-iso | grep -Ei 'out of memory|oom-kill|killed process|i/o error|nvme|ext4|xfs|reset|segfault'
dmesg -T | tail -n 50预期输出
<TIME> <HOST> <PROCESS>[<ID>]: <SERVICE_MESSAGE>
<TIME> <APPLICATION_LOG_LINE>
<TIME> <HOST> kernel: Out of memory: Killed process <ID> (<PROCESS>) ...
[<DAY> <MON> <DATE> <TIME> <YEAR>] <KERNEL_MESSAGE>如果最近没有匹配到 OOM、设备错误或崩溃事件,第三条命令可能没有输出,这是正常结果。<TIME>、<HOST>、<ID> 等实际值会因主机和故障时间不同而变化。
把三类日志放到同一时间线
journalctl -u 适合看 systemd 管理的服务启动、退出和标准输出;应用自己的日志通常包含业务异常和内部错误;journalctl -k 或 dmesg 则反映 OOM killer、文件系统、块设备、驱动和内核级故障。

最关键的是先后顺序。例如内核先记录 Killed process,随后 journal 才出现服务进程退出,这通常说明服务退出是 OOM 的结果;如果应用先记录磁盘写入错误,随后内核出现 I/O error 或设备 reset,则要继续验证存储链路。
正确解读 dmesg 时间
dmesg 默认时间戳常表示开机后的相对时间,而 dmesg -T 会尝试转换成人类可读时间。这个转换对排查很方便,但系统挂起、恢复或时钟调整后可能产生偏差,因此需要精确对齐时优先使用 journalctl -k -o short-iso。
还要确认三类日志是否使用同一时区。应用日志若固定写 UTC,而 journal 显示本地时区,看起来会相差数小时。不要手工“猜”偏移量,应先确认应用日志格式和系统时区。
timedatectl
date --iso-8601=seconds预期输出
Local time: <TIME>
Universal time: <TIME>
Time zone: <ZONE>
<TIME_WITH_OFFSET>时间字段会随当前主机变化。确认时区后,再把应用日志中的时间转换到相同基准进行比对。
识别几类高价值内核事件
OOM 事件通常会同时出现内存不足、触发者和被杀进程信息。不要只看到服务退出码就认定是应用自己崩溃;若内核明确记录 Killed process,应先调查内存压力、cgroup 限制和进程内存增长。
设备和文件系统问题则常见 I/O error、NVMe reset、EXT4/XFS 错误等关键词。此时应用里的数据库超时、写文件失败可能只是上层表现。相反,只有应用报错而内核没有相应设备事件时,更应该检查应用配置、依赖服务或权限。
用时间顺序完成验证
排查结束前要写出一条可复核的事件链:故障前发生了什么、内核是否先出现异常、服务何时退出、应用最后一条有效日志是什么、修复后这些事件是否消失。若时间线仍存在缺口,就不能把相关性直接当成因果关系。
例如“03:46:10 内核触发 OOM,03:46:10 杀死服务 PID,03:46:11 systemd 记录主进程退出”比“服务大约在 03:46 挂了”更有诊断价值。时间对齐做得越精确,后续决定是修内存、存储还是应用逻辑就越可靠。