消息队列 / 系统课时
处理磁盘与目录故障
处理磁盘与目录故障
本课解决 Broker 磁盘空间、I/O 抖动和日志目录异常导致副本停写、同步中断甚至分区可用性下降的问题。你将按“先保护分区可用性、再恢复磁盘与副本、最后验证同步”的顺序完成处置。
学习目标
- 能区分磁盘满、I/O 抖动和日志目录不可用对 Kafka 副本的不同影响
- 能从 Broker 日志、磁盘状态和副本同步状态建立故障证据链
- 能按风险优先级恢复目录、释放空间,并确认副本重新进入正常同步状态
先判断故障影响面
Kafka Broker 会把分区日志存放在配置的 log.dirs 中。某个目录出现磁盘写满、文件系统只读、设备异常或持续高延迟时,受影响的不是单个普通文件,而是该目录承载的分区日志 I/O。
处理时先回答三个问题:哪些 Broker 受影响,哪些日志目录受影响,哪些分区因此出现副本停写或同步落后。不要一开始就移动目录或删除日志文件,因为未知故障状态下的物理操作可能进一步放大风险。
常见影响可以这样理解:
| 故障 | 典型直接表现 | 首要风险 |
|---|---|---|
| 磁盘空间耗尽 | 写入失败、日志段无法追加 | 副本无法继续接收写入 |
| I/O 抖动 | 请求延迟升高、复制持续落后 | ISR 缩小、恢复时间拉长 |
| 文件系统或目录不可用 | 日志目录读写失败 | 目录上的分区副本异常 |

建立故障证据链
先在故障 Broker 上确认磁盘容量、挂载状态和 Kafka 日志目录,再结合 Kafka 日志判断是容量问题、I/O 问题还是目录不可用。磁盘空间检查只能回答“有没有空间”,不能单独证明“为什么副本同步变慢”。
下面的示例假设 Broker 使用 /var/lib/kafka 作为主要日志目录;实际路径应替换为该集群配置中的 log.dirs。
df -h /var/lib/kafka
df -i /var/lib/kafka
# 检查挂载点是否被重新挂载为只读
mount | grep '/var/lib/kafka'
# 查看最近的磁盘与文件系统错误
journalctl -k --since '<TIME> minutes ago' | tail -n 80预期结果
Filesystem Size Used Avail Use% Mounted on
/dev/sdb1 <SIZE> <USED> <AVAIL> <PERCENT>% /var/lib/kafka
/dev/sdb1 <INODES> <IUSED> <IFREE> <IPERCENT>% /var/lib/kafka
/dev/sdb1 on /var/lib/kafka type <FILESYSTEM> (rw,...)
... I/O error ...
... filesystem warning ...如果 Use% 接近 100%,优先按容量故障处理;如果空间仍充足但内核日志出现 I/O error、设备重试或文件系统异常,则不要通过简单清理文件假设问题已经解决。磁盘本身健康状态和文件系统稳定性需要继续确认。
Kafka 侧重点看是否出现日志目录异常、写入失败和复制线程反复失败。操作系统命令和 Kafka 日志要相互印证,避免把“复制延迟”直接误判成“网络问题”。
先恢复业务,再处理副本
故障优先级通常是“分区可用性 > 副本恢复速度 > 磁盘利用率优化”。如果故障 Broker 继续承载大量异常 I/O,应先停止风险继续扩大,再决定是否摘除 Broker、修复挂载点或把副本迁移到健康 Broker。
磁盘满时,优先释放确定不属于 Kafka 活跃日志的数据,例如已知的独立临时文件或错误日志;不要手工删除 Kafka 活跃分区目录、日志段或索引文件来“腾空间”。Kafka 的日志段、索引和检查点文件具有内部一致性关系,直接删除可能把空间问题升级为日志损坏或副本重建问题。
I/O 抖动时,不要只看平均磁盘利用率。持续高 await、设备错误或间歇性超时意味着 Broker 可能在低吞吐状态下继续工作。此时应降低故障节点承担的恢复压力,并让副本恢复使用健康的存储路径。
恢复后验证副本同步
存储问题修复后,不能只看磁盘空间恢复正常,还要确认 Kafka 副本真的重新追平。至少检查分区副本、ISR 和复制延迟是否回到预期状态。
可以先从集群侧检查分区副本分布:
kafka-topics.sh \
--bootstrap-server <HOST>:<PORT> \
--describe \
--topic <TOPIC>预期结果
Topic:<TOPIC> Partition:<ID> Leader:<BROKER_ID> Replicas:<BROKER_LIST> Isr:<BROKER_LIST>重点不是某个具体 Broker ID,而是受影响分区的 Isr 是否恢复到符合副本因子预期的集合。若 ISR 长时间无法恢复,应继续定位是存储仍异常、网络不可达、Broker 资源不足,还是副本本身存在更深层问题。
最后确认磁盘还有足够恢复余量。恢复到“刚好不满”并不等于安全,因为副本重建和日志滚动都可能在短时间内继续消耗空间。只有存储稳定、目录可写、受影响副本重新同步,并且 ISR 恢复后,才算完成一次有效处置。