Linux 与服务器运维 / 系统课时
内核异常应该看哪些日志
内核异常应该看哪些日志
磁盘 I/O 错误、网卡掉线、驱动异常和 OOM 往往不是普通应用日志能解释的。本节使用 dmesg 与 journalctl 查询内核消息,并按故障类型筛选关键字,建立从异常现象到设备、驱动或内存问题的定位路径。
学习目标
- 理解
dmesg与 systemd journal 中内核日志的区别 - 能筛选磁盘、网卡和 OOM 相关的内核异常
- 能结合启动周期和故障时间范围缩小排查范围
先从内核日志确认系统层异常
dmesg 读取内核环形缓冲区,适合快速查看当前启动周期内的驱动、设备和内存消息。排障时不要先浏览全部内容,而应优先筛选 warning 和 error 级别,并限制输出数量。
sudo dmesg --level=err,warn | tail -n 50预期输出
[<TIME>] <KERNEL_SUBSYSTEM>: <WARNING_OR_ERROR_MESSAGE>
[<TIME>] <DEVICE>: <WARNING_OR_ERROR_MESSAGE>实际时间、设备名和消息内容会因主机状态而不同。没有输出通常表示当前环形缓冲区中没有符合筛选级别的消息,并不代表系统历史上从未发生过异常。
在使用 systemd 的发行版中,还可以直接查询 journal 保存的内核消息。它支持时间范围、启动周期和优先级筛选,更适合把异常与业务故障发生时间对齐。
sudo journalctl -k -p warning --since "30 min ago" --no-pager预期输出
<TIME> <HOST> kernel: <WARNING_OR_ERROR_MESSAGE>这里的 <TIME>、<HOST> 和消息正文都是动态值。如果系统没有保存符合条件的日志,命令可能不输出记录。
按异常类型寻找关键线索
遇到系统层故障时,先根据现象选择关键字,比从几千行内核消息中逐行阅读更高效。下面三组搜索分别覆盖常见磁盘、网络和 OOM 线索。
sudo journalctl -k --since "1 hour ago" --no-pager | grep -Ei 'I/O error|EXT4-fs|XFS|nvme|ata'
sudo journalctl -k --since "1 hour ago" --no-pager | grep -Ei 'link is|NETDEV WATCHDOG|firmware|tx timeout'
sudo journalctl -k --since "1 hour ago" --no-pager | grep -Ei 'out of memory|oom-killer|killed process'预期输出
<TIME> <HOST> kernel: <MATCHED_KERNEL_MESSAGE>每条命令都可能返回零行或多行。零行表示指定时间范围内没有匹配当前关键字的内核消息;出现记录时,应继续关注其中的设备名、接口名、进程 ID 和时间点。
| 现象 | 常见日志线索 | 下一步重点 |
|---|---|---|
| 磁盘读写失败、文件系统异常 | I/O error、EXT4-fs、XFS、nvme、ata |
确认具体块设备、文件系统和硬件状态 |
| 网卡短暂断开或发送超时 | link is down、NETDEV WATCHDOG、firmware、tx timeout |
确认接口、驱动、固件和链路状态 |
| 进程突然被杀死 | Out of memory、oom-killer、Killed process |
确认被杀进程以及当时的内存压力 |
重启之后要看上一次启动周期
dmesg 主要反映当前内核启动后的环形缓冲区。如果机器已经因为故障重启,关键消息可能不再存在于当前缓冲区。systemd journal 开启持久化并保留上一启动周期时,可以用 -b -1 查询上一次启动的内核日志。
sudo journalctl -k -b -1 --no-pager | tail -n 50预期结果
<TIME> <HOST> kernel: <KERNEL_MESSAGE_FROM_PREVIOUS_BOOT>如果系统未保留上一启动周期的 journal,则可能没有可显示的记录。此时不能把“查不到”解释成“故障没有发生”,而应确认日志是否持久化以及故障发生后是否已经覆盖了相关信息。
用故障时间把日志串起来
内核日志解决的是“系统底层发生了什么”,应用日志解决的是“服务感知到了什么”。实际排障时,应先确定故障时间,再查看同一时间附近的内核事件;发现设备、驱动或 OOM 线索后,再回到对应服务日志确认业务影响。
例如服务在 <TIME> 突然退出,而同一时间出现 OOM killer 记录,就应该继续核对被杀进程是否正是该服务,而不是只根据服务日志中的“连接断开”继续排查网络。磁盘和网卡问题也遵循相同原则:先找到内核层证据,再验证它是否与故障时间和受影响对象一致。