消息队列 / 系统课时

处理磁盘与目录故障

处理磁盘与目录故障

本课解决 Broker 磁盘空间、I/O 抖动和日志目录异常导致副本停写、同步中断甚至分区可用性下降的问题。你将按“先保护分区可用性、再恢复磁盘与副本、最后验证同步”的顺序完成处置。

学习目标

  • 能区分磁盘满、I/O 抖动和日志目录不可用对 Kafka 副本的不同影响
  • 能从 Broker 日志、磁盘状态和副本同步状态建立故障证据链
  • 能按风险优先级恢复目录、释放空间,并确认副本重新进入正常同步状态

先判断故障影响面

Kafka Broker 会把分区日志存放在配置的 log.dirs 中。某个目录出现磁盘写满、文件系统只读、设备异常或持续高延迟时,受影响的不是单个普通文件,而是该目录承载的分区日志 I/O。

处理时先回答三个问题:哪些 Broker 受影响,哪些日志目录受影响,哪些分区因此出现副本停写或同步落后。不要一开始就移动目录或删除日志文件,因为未知故障状态下的物理操作可能进一步放大风险。

常见影响可以这样理解:

故障 典型直接表现 首要风险
磁盘空间耗尽 写入失败、日志段无法追加 副本无法继续接收写入
I/O 抖动 请求延迟升高、复制持续落后 ISR 缩小、恢复时间拉长
文件系统或目录不可用 日志目录读写失败 目录上的分区副本异常

Broker 磁盘故障对副本同步与分区可用性的影响路径

建立故障证据链

先在故障 Broker 上确认磁盘容量、挂载状态和 Kafka 日志目录,再结合 Kafka 日志判断是容量问题、I/O 问题还是目录不可用。磁盘空间检查只能回答“有没有空间”,不能单独证明“为什么副本同步变慢”。

下面的示例假设 Broker 使用 /var/lib/kafka 作为主要日志目录;实际路径应替换为该集群配置中的 log.dirs。

bash
df -h /var/lib/kafka

df -i /var/lib/kafka

# 检查挂载点是否被重新挂载为只读
mount | grep '/var/lib/kafka'

# 查看最近的磁盘与文件系统错误
journalctl -k --since '<TIME> minutes ago' | tail -n 80

预期结果

text
Filesystem      Size  Used Avail Use% Mounted on
/dev/sdb1       <SIZE>  <USED>  <AVAIL>   <PERCENT>% /var/lib/kafka

/dev/sdb1       <INODES>  <IUSED>  <IFREE>  <IPERCENT>% /var/lib/kafka

/dev/sdb1 on /var/lib/kafka type <FILESYSTEM> (rw,...)

... I/O error ...
... filesystem warning ...

如果 Use% 接近 100%,优先按容量故障处理;如果空间仍充足但内核日志出现 I/O error、设备重试或文件系统异常,则不要通过简单清理文件假设问题已经解决。磁盘本身健康状态和文件系统稳定性需要继续确认。

Kafka 侧重点看是否出现日志目录异常、写入失败和复制线程反复失败。操作系统命令和 Kafka 日志要相互印证,避免把“复制延迟”直接误判成“网络问题”。

先恢复业务,再处理副本

故障优先级通常是“分区可用性 > 副本恢复速度 > 磁盘利用率优化”。如果故障 Broker 继续承载大量异常 I/O,应先停止风险继续扩大,再决定是否摘除 Broker、修复挂载点或把副本迁移到健康 Broker。

磁盘满时,优先释放确定不属于 Kafka 活跃日志的数据,例如已知的独立临时文件或错误日志;不要手工删除 Kafka 活跃分区目录、日志段或索引文件来“腾空间”。Kafka 的日志段、索引和检查点文件具有内部一致性关系,直接删除可能把空间问题升级为日志损坏或副本重建问题。

I/O 抖动时,不要只看平均磁盘利用率。持续高 await、设备错误或间歇性超时意味着 Broker 可能在低吞吐状态下继续工作。此时应降低故障节点承担的恢复压力,并让副本恢复使用健康的存储路径。

恢复后验证副本同步

存储问题修复后,不能只看磁盘空间恢复正常,还要确认 Kafka 副本真的重新追平。至少检查分区副本、ISR 和复制延迟是否回到预期状态。

可以先从集群侧检查分区副本分布:

bash
kafka-topics.sh \
  --bootstrap-server <HOST>:<PORT> \
  --describe \
  --topic <TOPIC>

预期结果

text
Topic:<TOPIC>  Partition:<ID>  Leader:<BROKER_ID>  Replicas:<BROKER_LIST>  Isr:<BROKER_LIST>

重点不是某个具体 Broker ID,而是受影响分区的 Isr 是否恢复到符合副本因子预期的集合。若 ISR 长时间无法恢复,应继续定位是存储仍异常、网络不可达、Broker 资源不足,还是副本本身存在更深层问题。

最后确认磁盘还有足够恢复余量。恢复到“刚好不满”并不等于安全,因为副本重建和日志滚动都可能在短时间内继续消耗空间。只有存储稳定、目录可写、受影响副本重新同步,并且 ISR 恢复后,才算完成一次有效处置。

按自己的节奏,确认真正理解。

目录与阅读设置

记录一个想法

处理磁盘与目录故障

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通