Linux 与服务器运维 / 系统课时

用 journalctl 追踪服务日志

用 journalctl 追踪服务日志

服务异常时,最有效的日志查询不是从文件尾部漫无目的地翻,而是先限定 systemd 单元、启动批次和故障时间窗,再按优先级与上下文还原事件顺序。本篇用 journalctl 建立这套查询顺序,并补齐实时跟踪、持久化与磁盘占用控制。

学习目标

  • 能按服务、当前或历史启动批次、时间范围和日志优先级过滤 journal。
  • 能结合实时跟踪与故障时间窗还原服务失败前后的关键事件。
  • 能判断 journal 是否持久化,并设置基础磁盘占用上限。

先锁定服务和启动批次

journalctl 默认会混合内核、systemd 和所有服务的日志。排查某个 systemd 服务时,应先用 -u 只看对应 unit,再用 -b 把范围限制在本次启动。这样可以避免旧故障与当前故障混在一起。

下面以几乎所有 systemd Linux 都存在的 systemd-journald.service 为例:

bash
sudo journalctl -b -u systemd-journald.service -n 20 --no-pager

预期输出

text
<TIME> <HOST> systemd-journald[<ID>]: Journal started
<TIME> <HOST> systemd-journald[<ID>]: Runtime Journal (<PATH>) is <SIZE>, max <SIZE>.

实际时间、主机名、PID、路径和容量会不同;某些发行版的消息文本也可能略有差异。只要输出被限定在当前启动和目标 unit,说明筛选条件已经生效。

常见查询条件可以按问题逐层叠加:

需求 参数或命令模板 说明
指定服务 -u <SERVICE> 只看一个 systemd unit
当前启动 -b 排除上次开机留下的日志
上一次启动 -b -1 适合分析重启前的崩溃
限定时间窗 --since "<TIME>" --until "<TIME>" 围绕告警时间前后收窄范围
只看 warning 及以上 -p warning 包含 warning、err、crit、alert、emerg
精细时间戳 -o short-precise 便于和监控、应用日志对齐

用时间窗还原故障顺序

日志排障最重要的是顺序,而不是某一行看起来“很红”。先从监控、用户报错或 systemctl status 中拿到大致故障时间,再查询前后几分钟的日志。命令模板可以写成 journalctl -u <SERVICE> --since "<TIME>" --until "<TIME>" -o short-precise,把 <SERVICE> 和时间替换成现场值。

阅读时优先找三类事件:服务配置或依赖失败、进程退出及退出码、systemd 随后的重启或限流动作。若先看到上游连接失败,之后才出现主进程退出,就不能把“进程退出”误当成最初根因;相反,如果主进程先因配置解析失败退出,后面的健康检查告警只是结果。

需要查看重启前的问题时,可使用 -b -1 查询上一个启动批次。这个能力依赖历史 journal 仍然存在;如果系统只保存运行时日志,重启后旧批次可能已经消失。

实时跟踪但保留上下文

实时跟踪参数 -f 适合在复现故障时观察新日志,和 -u <SERVICE> 组合后相当于只跟踪目标服务。实时模式适合确认“触发某个请求后发生了什么”,但它不应替代历史查询,因为真正的根因可能早在你开始跟踪之前就已经发生。

更稳妥的做法是先查一个固定时间窗,理解故障前后的上下文,再用实时跟踪复现。复现完成后重新查询这段时间窗,可以把实时看到的单行错误放回完整因果链中。对于频繁重启的服务,还应把 systemd 的启动、停止和限流消息一起纳入判断。

让日志跨重启保留

systemd-journald 可以把日志放在运行时目录,也可以持久化到磁盘。需要跨重启追踪故障时,可在 /etc/systemd/journald.conf 中显式启用持久化,并设置容量上限。

下面是配置片段示例,修改前应先确认服务器已有磁盘容量规划:

ini
[Journal]
Storage=persistent
SystemMaxUse=1G
RuntimeMaxUse=200M

Storage=persistent 让 journal 尝试写入持久化存储;SystemMaxUse 控制持久化日志总体空间,RuntimeMaxUse 控制运行时日志空间。配置修改后需要重启 systemd-journald 才能让新设置生效,并用磁盘统计确认结果。

bash
sudo systemctl restart systemd-journald
journalctl --disk-usage

预期输出

text
Archived and active journals take up <SIZE> in the file system.

<SIZE> 会随当前日志量变化。若启用了持久化但重启后仍看不到历史启动日志,应检查 /var/log/journal 是否可创建和写入、文件系统是否只读,以及 journald 配置是否被其他 drop-in 覆盖。

建立固定排查顺序

实际处理服务故障时,可以固定为“unit → boot → time → priority → context → follow”的顺序:先确认查的是哪个服务和哪次启动,再锁定故障时间窗,随后用优先级减少噪声,最后才实时复现。这样做能避免把旧日志、其他服务日志或后续连锁报错误判成根因。

当日志需要跨重启保存时,再检查持久化和磁盘上限。journalctl 真正解决的不是“怎么多看几行日志”,而是让服务事件按统一时间轴被筛选和还原,从而把故障定位建立在完整证据链上。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用 journalctl 追踪服务日志

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通