Linux 与服务器运维 / 系统课时

检查服务日志和内核事件

检查服务日志和内核事件

当服务突然退出、请求报错或主机出现 OOM、磁盘异常时,单看一份应用日志往往不够。有效排查需要把 systemd journal、应用日志和内核事件放到同一时间线上,判断哪个事件先发生、哪个只是后果,从而建立可信的故障因果链。

学习目标

  • 能按统一时间窗口收集服务、应用和内核日志
  • 能识别 OOM、设备错误与服务退出之间的先后关系
  • 能避免因时区、时间戳格式和日志缺口造成误判

先固定故障时间窗口

先从监控告警、用户报错或服务状态中确定故障大致发生时间,再向前后各扩几分钟。窗口太大容易被历史噪声淹没,窗口太小又可能漏掉真正的前置事件。

下面示例检查最近 15 分钟的服务日志、应用日志和内核事件。把 myapp.service 与 /var/log/myapp/app.log 换成实际名称和路径。

bash
SERVICE="myapp.service"
APP_LOG="/var/log/myapp/app.log"
journalctl -u "$SERVICE" --since "-15 min" --no-pager -o short-iso
tail -n 200 "$APP_LOG"
journalctl -k --since "-15 min" --no-pager -o short-iso | grep -Ei 'out of memory|oom-kill|killed process|i/o error|nvme|ext4|xfs|reset|segfault'
dmesg -T | tail -n 50

预期输出

text
<TIME> <HOST> <PROCESS>[<ID>]: <SERVICE_MESSAGE>
<TIME> <APPLICATION_LOG_LINE>
<TIME> <HOST> kernel: Out of memory: Killed process <ID> (<PROCESS>) ...
[<DAY> <MON> <DATE> <TIME> <YEAR>] <KERNEL_MESSAGE>

如果最近没有匹配到 OOM、设备错误或崩溃事件,第三条命令可能没有输出,这是正常结果。<TIME>、<HOST>、<ID> 等实际值会因主机和故障时间不同而变化。

把三类日志放到同一时间线

journalctl -u 适合看 systemd 管理的服务启动、退出和标准输出;应用自己的日志通常包含业务异常和内部错误;journalctl -k 或 dmesg 则反映 OOM killer、文件系统、块设备、驱动和内核级故障。

服务日志、应用日志与内核事件时间对齐

最关键的是先后顺序。例如内核先记录 Killed process,随后 journal 才出现服务进程退出,这通常说明服务退出是 OOM 的结果;如果应用先记录磁盘写入错误,随后内核出现 I/O error 或设备 reset,则要继续验证存储链路。

正确解读 dmesg 时间

dmesg 默认时间戳常表示开机后的相对时间,而 dmesg -T 会尝试转换成人类可读时间。这个转换对排查很方便,但系统挂起、恢复或时钟调整后可能产生偏差,因此需要精确对齐时优先使用 journalctl -k -o short-iso。

还要确认三类日志是否使用同一时区。应用日志若固定写 UTC,而 journal 显示本地时区,看起来会相差数小时。不要手工“猜”偏移量,应先确认应用日志格式和系统时区。

bash
timedatectl
date --iso-8601=seconds

预期输出

text
               Local time: <TIME>
           Universal time: <TIME>
                 Time zone: <ZONE>
<TIME_WITH_OFFSET>

时间字段会随当前主机变化。确认时区后,再把应用日志中的时间转换到相同基准进行比对。

识别几类高价值内核事件

OOM 事件通常会同时出现内存不足、触发者和被杀进程信息。不要只看到服务退出码就认定是应用自己崩溃;若内核明确记录 Killed process,应先调查内存压力、cgroup 限制和进程内存增长。

设备和文件系统问题则常见 I/O error、NVMe reset、EXT4/XFS 错误等关键词。此时应用里的数据库超时、写文件失败可能只是上层表现。相反,只有应用报错而内核没有相应设备事件时,更应该检查应用配置、依赖服务或权限。

用时间顺序完成验证

排查结束前要写出一条可复核的事件链:故障前发生了什么、内核是否先出现异常、服务何时退出、应用最后一条有效日志是什么、修复后这些事件是否消失。若时间线仍存在缺口,就不能把相关性直接当成因果关系。

例如“03:46:10 内核触发 OOM,03:46:10 杀死服务 PID,03:46:11 systemd 记录主进程退出”比“服务大约在 03:46 挂了”更有诊断价值。时间对齐做得越精确,后续决定是修内存、存储还是应用逻辑就越可靠。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

检查服务日志和内核事件

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通