可观测性与稳定性 / 系统课时

磁盘损坏后先保什么

磁盘损坏后先保什么

磁盘或文件系统出现异常时,最危险的动作往往不是“什么都不做”,而是在根因未知时继续写入、反复修复或立即重启。本课建立一套先保护证据和可恢复数据、再决定服务处置方式的顺序,降低故障扩大和覆盖数据的风险。

学习目标

  • 根据故障现象判断数据、日志与服务状态的保护优先级
  • 识别会造成二次写入或破坏现场的高风险操作
  • 使用只读检查获取必要证据,并为后续恢复或取证保留条件

第一原则是减少新的写入

发现 I/O 错误、文件系统转为只读、文件异常消失或磁盘健康告警后,不要把“尽快恢复服务”等同于“立即重启”。数据库、日志系统、临时文件和后台任务都可能持续写盘,使损坏范围扩大,也可能覆盖后续诊断需要的信息。

磁盘故障后的保护决策流程

第一步通常是停止非必要写入,或者把业务流量迁离故障节点。是否立即停止服务要结合系统架构判断:如果节点有健康副本,可优先摘流量并停止写入;如果它保存唯一数据,则更应避免未经评估的修复动作。

先采集不会明显改变现场的信息

Linux 主机上可以先读取内核最近报告的磁盘和文件系统错误。下面的命令只用于查看日志,不执行文件系统修复。

bash
sudo dmesg --level=err,warn | tail -n 50

预期输出取决于实际故障;存在块设备 I/O 异常时,可能看到类似信息,其中设备名和时间值会不同:

text
<TIME> blk_update_request: I/O error, dev <DEVICE>, sector <ID>

如果没有相关内核告警,命令也可能没有输出,因此不能仅凭这一项排除磁盘问题。还应结合存储控制器告警、云磁盘事件、文件系统状态以及应用日志判断。

数据、日志和服务状态怎么排序

不存在适用于所有事故的固定排序,但可以用“不可替代性”判断。唯一存在于故障盘上的业务数据通常优先于可重新部署的程序文件;能够解释损坏时间和范围的关键日志,则可能决定应该恢复到哪个时间点。

服务运行状态的价值取决于场景。对于无状态服务,进程和本地缓存通常可以舍弃;对于数据库或其他有状态服务,内存中的状态可能帮助诊断,但为了保住它而允许应用持续写入损坏磁盘,往往会增加风险。

已有经过验证的异地副本时,处置空间更大,可以隔离故障节点并从副本重建。如果故障盘包含唯一副本,则重点从“快速恢复在线服务”转向“最大限度保存可恢复数据”,两种场景不能使用同一套动作顺序。

不要在原盘上直接试错

文件系统检查和修复工具可能修改元数据,因此不能把“先跑一次修复看看”作为默认诊断动作。格式化、重新分区、初始化文件系统以及把恢复文件写回同一块故障盘,风险更高。

如果存储条件允许,应优先保留原介质,并在快照、镜像或克隆副本上开展进一步恢复。云盘快照也不是无条件安全按钮:要先确认平台的快照语义、应用一致性要求,以及创建快照是否会影响当前故障设备。

决定什么时候恢复服务

服务恢复应建立在“可恢复数据已经受到保护”之后。至少要确认可靠备份、镜像、快照或健康副本中的一种确实可用,并记录故障发生时间、受影响设备和已执行操作。随后再选择修复文件系统、替换磁盘或重建主机。

重建后不要只检查服务进程是否启动,还要验证关键数据能读取、必要写入能够持久化,并确认日志中没有继续出现 I/O 或文件系统错误。磁盘事故中的核心顺序是:先限制变化,再保存不可替代的信息,最后才在可控副本或新介质上恢复服务。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

磁盘损坏后先保什么

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通