Linux 与服务器运维 / 系统课时
dmesg 里哪些信息值得关注
dmesg 里哪些信息值得关注
dmesg 记录的是内核环形缓冲区里的消息。排障时不需要逐行阅读,而应优先寻找会直接影响资源、设备和数据可靠性的异常:内存不足、I/O 错误、文件系统异常以及网络设备重置,再结合发生时间判断是否与故障同步。
学习目标
- 能从大量内核消息中快速筛出高价值异常线索
- 能区分内存、块设备、文件系统和网络设备常见报错模式
- 能根据日志对象、时间和重复频率决定下一步检查方向
先把噪声缩小
dmesg 会包含驱动初始化、设备探测、状态变化等大量正常信息。第一步可以只看 warning 与 error 级别,再按典型关键字过滤。不同内核、驱动和发行版的具体措辞会变化,所以关键字用于缩小范围,不应被当成唯一判断条件。
sudo dmesg -T --level=err,warn | grep -Ei 'out of memory|oom-killer|killed process|i/o error|ext4-fs error|xfs.*error|btrfs.*error|netdev watchdog|link is (down|up)|reset|timed out'预期输出(仅展示可能命中的模式,实际系统可能没有任何输出):
[<TIME>] ... Out of memory ...
[<TIME>] ... I/O error ...
[<TIME>] ... EXT4-fs error ...
[<TIME>] ... NETDEV WATCHDOG ...如果命令没有输出,只能说明当前筛选条件没有命中;不能据此证明系统没有故障。部分系统还会限制普通用户读取内核缓冲区,因此示例使用 sudo。
四类最值得优先关注的线索
| 类别 | 常见关键词或现象 | 优先检查什么 |
|---|---|---|
| 内存不足 | Out of memory、oom-killer、Killed process |
哪个进程被杀、当时可用内存与 Swap、是否持续增长 |
| 块设备或存储 | I/O error、timeout、reset、Buffer I/O error |
对应磁盘、控制器、链路,是否重复出现 |
| 文件系统 | EXT4-fs error、XFS/Btrfs error、只读重挂载 |
挂载点、底层设备、文件系统是否进入保护状态 |
| 网络设备 | NETDEV WATCHDOG、link down/up、发送超时、设备 reset |
网卡名、链路状态、错误计数、驱动或固件 |
这些消息的价值在于它们通常直接来自内核或驱动,能指向具体资源对象。例如 OOM 日志能告诉你“内核已经因为内存压力采取杀进程动作”,而设备 reset 或超时则说明问题已经进入驱动或硬件交互层。
不要把单行告警直接当成根因
一次 link is down 可能只是拔插网线,一次设备 reset 也可能是短暂恢复动作。判断严重程度时至少同时看三件事:是否与业务故障同一时间、是否反复出现、是否指向同一个设备或进程。
如果异常持续出现,再转向对应工具确认现场:内存问题看 free、vmstat 和进程占用;磁盘问题看设备与文件系统状态;网络问题看 ip -s link 中的错误与丢包计数。这样才能把“内核线索”继续收敛成可验证的故障假设。
什么时候应该改看 journalctl
dmesg 适合快速查看当前内核缓冲区,但缓冲区容量有限,旧消息可能已经被覆盖。使用 systemd 的系统还可以通过 journalctl -k 查看内核日志,并按启动或时间范围筛选。
排查时最重要的不是记住所有关键字,而是先识别“哪个内核子系统在报警”,再把时间、对象和重复频率与实际故障对齐。只有三者能互相印证时,这条 dmesg 信息才真正接近根因。