Linux 与服务器运维 / 系统课时
查看系统与服务日志
查看系统与服务日志
日志排查的关键不是“把所有日志都看一遍”,而是先限定服务、时间窗口和错误类型,再把系统日志、服务日志与应用日志对齐。本节用 /var/log、journalctl 和应用日志建立一套从事件到上下文的查找方法。
学习目标
- 能区分 systemd Journal、
/var/log文件和应用自有日志的职责 - 能按服务与时间窗口使用
journalctl定位异常事件 - 能从文件日志中补充上下文,并把多来源事件按时间关联
先确认日志来自哪里
现代 Linux 主机常同时存在多种日志来源。systemd 管理的服务通常会把标准输出和服务事件写入 Journal;传统系统服务可能由 rsyslog 等组件写入 /var/log;Nginx、数据库或自研程序还可能维护自己的错误日志。
| 日志来源 | 适合查看什么 | 常用入口 |
|---|---|---|
| systemd Journal | 服务启动、停止、标准输出、内核与系统事件 | journalctl |
/var/log |
发行版或日志守护进程落盘的系统日志 | /var/log/<FILE> |
| 应用日志 | 业务错误、请求、堆栈、组件内部状态 | 应用配置指定的路径 |
不同发行版默认文件不同。例如 Debian/Ubuntu 常见 /var/log/syslog,RHEL 系常见 /var/log/messages;如果系统主要依赖 journald,某些传统文件可能不存在,所以先确认实际日志来源再继续。
用 journalctl 锁定服务和时间
假设正在排查由 systemd 管理的 Nginx,先限制服务单元和最近 30 分钟,避免被整机日志淹没。
sudo journalctl -u nginx --since "30 min ago" --no-pager -o short-iso -n 20预期输出格式:
<TIME> <HOST> <PROCESS>[<PID>]: <MESSAGE>实际消息内容取决于主机事件。-u nginx 只看指定服务单元,--since 限定时间窗口,-n 20 控制返回数量;确认异常大致发生时间后,再缩窄到几分钟通常比直接搜索全量关键字更可靠。
从 /var/log 找同一时间窗口
不知道具体文件名时,可以先找最近 30 分钟内被修改的日志文件,再选择最相关的文件查看。
sudo find /var/log -maxdepth 2 -type f -mmin -30 -printf '%TY-%Tm-%Td %TH:%TM %p\n' 2>/dev/null | sort预期输出格式:
<TIME> /var/log/<FILE>
<TIME> /var/log/<DIRECTORY>/<FILE>实际文件列表会因发行版、服务和权限不同而变化。这里的目的不是把所有文件逐一打开,而是利用修改时间快速发现“故障时间窗口内哪些日志真的发生了变化”。
查看应用日志并保留上下文
如果 Nginx 配置明确把错误日志写到 /var/log/nginx/error.log,可以先取末尾内容,再根据时间和错误级别继续缩小范围。
sudo tail -n 50 /var/log/nginx/error.log预期输出格式:
<TIME> [<LEVEL>] <PID>#<ID>: <MESSAGE>实际格式由应用决定。不要只截取包含 error 的单行,因为真正的原因可能出现在前几行,例如配置加载失败、上游连接超时或磁盘写入错误。先保留一小段上下文,再做关键字过滤更稳妥。
把多来源日志按时间对齐
关联日志时,先统一关注同一个时间窗口,并确认主机时区和时钟是否一致。可以把一次故障拆成“请求失败时间、服务状态变化时间、应用报错时间”三个锚点,再判断它们的先后关系。
如果 Journal 先出现服务退出,随后应用日志停止写入,那么应用错误更可能是服务退出的结果;如果应用日志先连续出现上游超时,之后服务因健康检查失败被重启,则上游依赖更值得优先检查。日志真正提供的是事件顺序,排障结论必须建立在顺序与证据能够互相解释的基础上。