Linux 与服务器运维 / 系统课时

排查磁盘爆满与 I/O 延迟

排查磁盘爆满与 I/O 延迟

磁盘告警不能只看“剩余空间”。容量、inode、被删除但仍占用的文件、持续增长的日志,以及设备 I/O 延迟都会表现为写入失败或服务变慢。本篇建立一条联合诊断路径,最终能根据证据选择清理、扩容、限流或迁移,而不是直接删文件或重启服务。

学习目标

  • 区分空间耗尽、inode 耗尽与设备 I/O 性能瓶颈
  • 使用 df、du、lsof、iostat 和 pidstat 定位异常来源
  • 根据根因选择清理、扩容、限流或迁移,并验证处置效果

先把故障分成容量与延迟

“磁盘爆满”和“I/O 很慢”可能同时出现,但处理方式不同。先观察症状:写文件提示 No space left on device 时重点检查块空间和 inode;磁盘还有大量空闲却请求卡顿时,重点检查设备延迟、队列和高 I/O 进程。

还要警惕一种容易误判的情况:文件已经被删除,但进程仍保持打开的文件描述符。此时 du 看不到文件,df 却仍显示空间被占用,必须通过进程层面的证据确认。

磁盘容量与 I/O 延迟联合诊断流程

按证据顺序检查空间与占用

先检查文件系统空间、inode、一级目录占用,再检查已删除但仍被进程打开的文件。下面的命令适合在出现磁盘告警的主机上按顺序执行;<PATH> 应替换为实际挂载点或业务目录。

bash
TARGET='<PATH>'

df -hT "$TARGET"
df -i "$TARGET"
sudo du -xhd1 "$TARGET" 2>/dev/null | sort -h
sudo lsof +L1 2>/dev/null | head -n 20

预期输出

text
Filesystem     Type  Size  Used Avail Use% Mounted on
<DEV>          <FS>  <SIZE> <SIZE> <SIZE> <PCT> <PATH>
Filesystem     Inodes IUsed IFree IUse% Mounted on
<DEV>          <COUNT> <COUNT> <COUNT> <PCT> <PATH>
<SIZE>  <PATH>/<DIR>
COMMAND  PID  USER  FD  TYPE  DEVICE  SIZE/OFF  NLINK  NODE  NAME
<PROCESS> <ID> <USER> <FD> <TYPE> <DEV> <SIZE> 0 <ID> <PATH> (deleted)

实际容量、百分比、设备名和进程信息会因主机而不同。若 df 接近 100% 而某个目录在 du 中明显偏大,继续向该目录下钻即可;若 df 很高但 du 合计明显偏小,应优先关注 lsof +L1 中 NLINK 为 0 的大文件。

inode 耗尽时,即使还有几十 GB 空间,也可能无法创建新文件。此时 df -i 的 IUse% 接近 100%,通常需要定位产生海量小文件的目录,而不是扩容大文件空间。

用设备与进程指标定位 I/O 延迟

容量正常却出现高延迟时,观察块设备的等待时间、队列和繁忙程度,再定位哪个进程持续读写。iostat 与 pidstat 通常由 sysstat 提供;若系统未安装,应按发行版的软件包管理流程补齐后再诊断。

bash
iostat -xz 1 3
pidstat -d 1 3

预期输出

text
Device            r/s     w/s   await  aqu-sz  %util
<DEV>              <N>     <N>   <MS>   <N>     <PCT>

UID   PID   kB_rd/s   kB_wr/s  Command
<ID>  <ID>  <RATE>    <RATE>   <PROCESS>

实际数值会持续变化。单独看到 %util 较高不能直接判定磁盘故障,应结合 await、队列深度和业务延迟判断;如果某个进程写入速率长期远高于其他进程,再检查其日志、临时文件、数据库刷盘或批处理任务。

根据根因选择处置方式

空间被普通日志或临时文件占满时,先确认保留策略,再清理历史数据并修复日志轮转;inode 被小文件耗尽时,需要删除无价值的小文件并限制其产生速度。被删除文件仍由进程持有时,应优先通过应用支持的重载、日志 reopen 或有序重启释放文件描述符。

如果数据本身持续增长且属于有效业务数据,清理只能暂时缓解,应扩容文件系统、迁移数据或调整数据保留周期。若根因是某个任务持续打满设备,则应考虑限流、降低并发、错峰执行,或把高 I/O 工作负载迁移到独立磁盘。

验证空间与延迟是否同时恢复

处置后不要只确认告警消失。重新检查 df -hT、df -i、iostat -xz 和业务请求延迟,确保空间已经释放、inode 恢复、设备等待时间下降,并且异常进程的读写速率回到合理范围。只有容量和性能证据都恢复,才能确认这次磁盘故障真正闭环。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

排查磁盘爆满与 I/O 延迟

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通