Linux 与服务器运维 / 系统课时

整理一份故障复盘记录

整理一份故障复盘记录

一次线上故障如果只停留在“已经修好了”,排查过程中获得的证据很快就会丢失。复盘记录要把影响、时间线、证据、根因、修复和后续改进连接起来,让其他人能够理解为什么发生、为什么这样判断,以及下次如何更快发现和处理同类问题。

学习目标

  • 用证据而不是回忆描述故障过程和根因
  • 整理可复用的影响、时间线、修复与验证记录
  • 把一次排障转化为可执行的监控和工程改进项

先保存原始证据

复盘最好在故障处理结束后尽快完成,因为日志可能轮转,临时指标可能过期,参与者也会逐渐忘记当时的判断依据。重要证据应先保留,再进行归纳。

例如可以导出故障时间窗口内的系统日志。下面命令只负责保存日志,不代表已经找到了根因:

bash
journalctl --since '<START_TIME>' --until '<END_TIME>' --no-pager > incident-<ID>-journal.txt
wc -l incident-<ID>-journal.txt

预期输出

text
<COUNT> incident-<ID>-journal.txt

<START_TIME>、<END_TIME> 和 <ID> 应替换为实际故障时间和事件编号。除了日志,还应保存关键监控截图或导出的指标、错误请求样本、配置变更记录以及修复后的验证结果。不要为了让复盘更“完整”而补写事故期间并未采集到的数据。

用时间线还原发生了什么

时间线用于回答“事情以什么顺序发生”,而不是记录所有聊天内容。通常保留能够改变故障状态或排查方向的节点即可,例如首次告警、影响确认、发现异常指标、执行修复、指标恢复和宣布恢复。

时间线应使用明确时间,并区分观察到的事实与当时的判断。例如“14:08 CPU 达到某监控值”是观测事实,“怀疑线程死循环”只是当时假设。后续如果证据推翻了假设,记录也不应把早期猜测改写成已经确认的结论。

可以采用如下格式整理:

时间 事实或动作 证据或结果
<TIME> 监控首次告警 接口延迟超过正常基线
<TIME> 检查主机资源 发现目标资源持续异常
<TIME> 执行修复 记录实际变更内容
<TIME> 开始验证 请求与资源指标逐步恢复
<TIME> 结束观察 未再次出现原始症状

时间线的价值在于让后来者能重新走一遍关键路径,并发现哪里耗时最长、哪里缺少数据,而不是追究某个人为什么没有更早做出正确判断。

根因必须能够解释证据

复盘中的根因不能写成“服务器压力太大”“网络有问题”这样的现象描述。一个可用的根因应能够解释:为什么故障在那个时间发生、为什么出现那些指标、为什么采取某项修复后恢复,以及在什么条件下可能再次发生。

建议把内容区分为三个层次:直接触发因素、使问题能够发生的系统条件,以及扩大影响的缺口。例如磁盘写满可能是直接触发因素,日志没有容量上限是长期条件,而磁盘告警阈值设置过晚则是扩大影响的监控缺口。

把复盘写成可复用结构

下面是一份可以直接复制后填写的精简模板。它强调事实、证据和行动项,而不是写成长篇事故故事。

markdown
# 故障复盘:<INCIDENT_NAME>

## 影响
- 开始时间:<START_TIME>
- 恢复时间:<END_TIME>
- 受影响服务:<SERVICE>
- 用户影响:<IMPACT>

## 关键时间线
- <TIME>:<OBSERVATION_OR_ACTION>
- <TIME>:<OBSERVATION_OR_ACTION>

## 关键证据
- <EVIDENCE_1>
- <EVIDENCE_2>

## 根因
<ROOT_CAUSE_AND_CAUSAL_CHAIN>

## 修复与验证
- 修复动作:<FIX>
- 验证结果:<VERIFICATION>

## 后续改进
- <OWNER>:<ACTION>,计划完成时间 <DATE>

这是文档模板而不是可执行程序。填写时应优先链接或引用已经保存的监控、日志和变更记录,使关键结论能够追溯到原始证据。

后续改进必须能够执行

“加强监控”“优化代码”“以后注意”都不是足够具体的改进项。有效行动项需要说明做什么、由谁负责,以及如何判断已经完成。例如把“加强磁盘监控”改成“为数据盘增加剩余容量和增长速度告警,并进行一次告警触发测试”。

行动项通常来自三个方向:减少再次发生的概率,提高故障发现速度,以及缩短恢复时间。并非每次事故都要进行大规模架构改造;如果一个容量告警、日志限额或自动化检查已经能显著降低风险,就应优先选择成本与收益匹配的措施。

一份可靠的复盘最终应让没有参与事故的人也能回答五个问题:影响是什么、发生顺序是什么、证据指向什么、为什么修复有效、以后准备改变什么。做到这一点,故障记录才不只是归档材料,而会真正成为下一次排障可以复用的运行经验。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

整理一份故障复盘记录

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通