Linux 与服务器运维 / 系统课时
用 journalctl 追踪服务日志
用 journalctl 追踪服务日志
服务异常时,最有效的日志查询不是从文件尾部漫无目的地翻,而是先限定 systemd 单元、启动批次和故障时间窗,再按优先级与上下文还原事件顺序。本篇用 journalctl 建立这套查询顺序,并补齐实时跟踪、持久化与磁盘占用控制。
学习目标
- 能按服务、当前或历史启动批次、时间范围和日志优先级过滤 journal。
- 能结合实时跟踪与故障时间窗还原服务失败前后的关键事件。
- 能判断 journal 是否持久化,并设置基础磁盘占用上限。
先锁定服务和启动批次
journalctl 默认会混合内核、systemd 和所有服务的日志。排查某个 systemd 服务时,应先用 -u 只看对应 unit,再用 -b 把范围限制在本次启动。这样可以避免旧故障与当前故障混在一起。
下面以几乎所有 systemd Linux 都存在的 systemd-journald.service 为例:
sudo journalctl -b -u systemd-journald.service -n 20 --no-pager预期输出
<TIME> <HOST> systemd-journald[<ID>]: Journal started
<TIME> <HOST> systemd-journald[<ID>]: Runtime Journal (<PATH>) is <SIZE>, max <SIZE>.实际时间、主机名、PID、路径和容量会不同;某些发行版的消息文本也可能略有差异。只要输出被限定在当前启动和目标 unit,说明筛选条件已经生效。
常见查询条件可以按问题逐层叠加:
| 需求 | 参数或命令模板 | 说明 |
|---|---|---|
| 指定服务 | -u <SERVICE> |
只看一个 systemd unit |
| 当前启动 | -b |
排除上次开机留下的日志 |
| 上一次启动 | -b -1 |
适合分析重启前的崩溃 |
| 限定时间窗 | --since "<TIME>" --until "<TIME>" |
围绕告警时间前后收窄范围 |
| 只看 warning 及以上 | -p warning |
包含 warning、err、crit、alert、emerg |
| 精细时间戳 | -o short-precise |
便于和监控、应用日志对齐 |
用时间窗还原故障顺序
日志排障最重要的是顺序,而不是某一行看起来“很红”。先从监控、用户报错或 systemctl status 中拿到大致故障时间,再查询前后几分钟的日志。命令模板可以写成 journalctl -u <SERVICE> --since "<TIME>" --until "<TIME>" -o short-precise,把 <SERVICE> 和时间替换成现场值。
阅读时优先找三类事件:服务配置或依赖失败、进程退出及退出码、systemd 随后的重启或限流动作。若先看到上游连接失败,之后才出现主进程退出,就不能把“进程退出”误当成最初根因;相反,如果主进程先因配置解析失败退出,后面的健康检查告警只是结果。
需要查看重启前的问题时,可使用 -b -1 查询上一个启动批次。这个能力依赖历史 journal 仍然存在;如果系统只保存运行时日志,重启后旧批次可能已经消失。
实时跟踪但保留上下文
实时跟踪参数 -f 适合在复现故障时观察新日志,和 -u <SERVICE> 组合后相当于只跟踪目标服务。实时模式适合确认“触发某个请求后发生了什么”,但它不应替代历史查询,因为真正的根因可能早在你开始跟踪之前就已经发生。
更稳妥的做法是先查一个固定时间窗,理解故障前后的上下文,再用实时跟踪复现。复现完成后重新查询这段时间窗,可以把实时看到的单行错误放回完整因果链中。对于频繁重启的服务,还应把 systemd 的启动、停止和限流消息一起纳入判断。
让日志跨重启保留
systemd-journald 可以把日志放在运行时目录,也可以持久化到磁盘。需要跨重启追踪故障时,可在 /etc/systemd/journald.conf 中显式启用持久化,并设置容量上限。
下面是配置片段示例,修改前应先确认服务器已有磁盘容量规划:
[Journal]
Storage=persistent
SystemMaxUse=1G
RuntimeMaxUse=200MStorage=persistent 让 journal 尝试写入持久化存储;SystemMaxUse 控制持久化日志总体空间,RuntimeMaxUse 控制运行时日志空间。配置修改后需要重启 systemd-journald 才能让新设置生效,并用磁盘统计确认结果。
sudo systemctl restart systemd-journald
journalctl --disk-usage预期输出
Archived and active journals take up <SIZE> in the file system.<SIZE> 会随当前日志量变化。若启用了持久化但重启后仍看不到历史启动日志,应检查 /var/log/journal 是否可创建和写入、文件系统是否只读,以及 journald 配置是否被其他 drop-in 覆盖。
建立固定排查顺序
实际处理服务故障时,可以固定为“unit → boot → time → priority → context → follow”的顺序:先确认查的是哪个服务和哪次启动,再锁定故障时间窗,随后用优先级减少噪声,最后才实时复现。这样做能避免把旧日志、其他服务日志或后续连锁报错误判成根因。
当日志需要跨重启保存时,再检查持久化和磁盘上限。journalctl 真正解决的不是“怎么多看几行日志”,而是让服务事件按统一时间轴被筛选和还原,从而把故障定位建立在完整证据链上。