Linux 与服务器运维 / 系统课时
记录与复盘故障
记录与复盘故障
一次故障处理结束后,如果只留下“已经恢复”的聊天记录,同类问题往往还会重复发生。有效的复盘要把事实时间线、影响、根因、修复动作和预防措施分开记录,并附上可以复核的证据,让下一次排障不必重新猜测。
学习目标
- 能整理可验证的故障时间线和影响范围
- 能区分现象、直接原因与根因,避免把修复动作当根因
- 能把预防措施写成有负责人、触发条件和验证方式的行动项
先固定事实与证据
复盘应从事实开始,而不是先写结论。建议至少保留故障开始时间、首次告警、关键操作、恢复时间,以及对应日志或命令输出。时间统一使用同一时区,动态值写清来源,避免后来出现“先修复还是先恢复”的时间线争议。
可以在处理现场先生成一个最小证据目录。下面的命令会记录当前时间、主机名、内核版本和最近的 systemd 错误日志;<SERVICE> 替换为实际服务名。
mkdir -p incident-evidence
date --iso-8601=seconds > incident-evidence/time.txt
hostnamectl > incident-evidence/host.txt
uname -a > incident-evidence/kernel.txt
journalctl -u <SERVICE> -p err -n 50 --no-pager > incident-evidence/service-errors.txt
printf 'evidence saved to %s\n' "$(pwd)/incident-evidence"预期输出
evidence saved to <PATH>/incident-evidence日志内容会因服务和时间而不同。证据目录不是复盘文档本身,它只是保证后续写结论时还能回到原始事实。
用时间线还原发生了什么
时间线只写“什么时候发生了什么”,不要把推测混进事件描述。每个关键节点至少包含时间、观察到的现象或动作、证据来源。若时间只能估算,应明确标注“约”,不要伪造成精确时间。
一个可复用的最小结构如下:
<TIME> 监控首次告警,5xx 比例升高,来源:告警平台
<TIME> 值班人员确认 <SERVICE> 大量报错,来源:journalctl
<TIME> 执行 <ACTION>,错误率开始下降,来源:变更记录
<TIME> 核心指标恢复正常,进入观察期,来源:监控面板
<TIME> 宣布故障恢复这段是文档片段示例,不是可执行命令。时间线的目标是让未参与处理的人也能按证据重建过程。
把现象、直接原因和根因分开
“磁盘满了”可能是直接原因,但不一定是根因;如果日志无限增长且没有轮转策略,真正需要治理的是容量控制机制。复盘时可以连续追问“为什么这个条件会出现、为什么现有防护没有提前阻止”,直到得到可被工程措施改变的原因。
例如:现象是服务无法写日志;直接原因是文件系统无剩余空间;根因是日志轮转配置失效且磁盘容量告警阈值过晚。修复动作是清理旧日志并恢复轮转,但它们不能替代根因描述。
把修复和预防写成可验证动作
复盘文档至少要区分“已经完成的恢复动作”和“防止再次发生的改进”。预防措施不能只写“加强监控”“注意容量”这类口号,而要写成可以验收的任务。
建议每个行动项包含负责人、截止时间、触发条件和验证方法。例如:“将 /var/log/<SERVICE> 纳入 logrotate,每日轮转,保留 14 份;负责人 <OWNER>;截止 <TIME>;通过制造测试日志确认轮转后旧文件被压缩且服务继续写入。”
形成最小可复用复盘模板
一份短而完整的故障文档可以固定为以下字段:故障标题、影响范围、时间线、证据链接、根因、恢复措施、预防措施、负责人和验证结果。正文只保留能帮助判断与复现的信息,不需要把聊天记录逐字粘贴进去。
当文档完成后,让一名未参与本次处理的人检查两个问题:能否仅凭时间线理解故障过程,能否依据行动项判断改进是否已经生效。两者都能回答,复盘才真正从“记录历史”变成了下一次排障可复用的资产。