Linux 与服务器运维 / 系统课时
排查磁盘爆满与 I/O 延迟
排查磁盘爆满与 I/O 延迟
磁盘告警不能只看“剩余空间”。容量、inode、被删除但仍占用的文件、持续增长的日志,以及设备 I/O 延迟都会表现为写入失败或服务变慢。本篇建立一条联合诊断路径,最终能根据证据选择清理、扩容、限流或迁移,而不是直接删文件或重启服务。
学习目标
- 区分空间耗尽、inode 耗尽与设备 I/O 性能瓶颈
- 使用
df、du、lsof、iostat和pidstat定位异常来源 - 根据根因选择清理、扩容、限流或迁移,并验证处置效果
先把故障分成容量与延迟
“磁盘爆满”和“I/O 很慢”可能同时出现,但处理方式不同。先观察症状:写文件提示 No space left on device 时重点检查块空间和 inode;磁盘还有大量空闲却请求卡顿时,重点检查设备延迟、队列和高 I/O 进程。
还要警惕一种容易误判的情况:文件已经被删除,但进程仍保持打开的文件描述符。此时 du 看不到文件,df 却仍显示空间被占用,必须通过进程层面的证据确认。

按证据顺序检查空间与占用
先检查文件系统空间、inode、一级目录占用,再检查已删除但仍被进程打开的文件。下面的命令适合在出现磁盘告警的主机上按顺序执行;<PATH> 应替换为实际挂载点或业务目录。
TARGET='<PATH>'
df -hT "$TARGET"
df -i "$TARGET"
sudo du -xhd1 "$TARGET" 2>/dev/null | sort -h
sudo lsof +L1 2>/dev/null | head -n 20预期输出
Filesystem Type Size Used Avail Use% Mounted on
<DEV> <FS> <SIZE> <SIZE> <SIZE> <PCT> <PATH>
Filesystem Inodes IUsed IFree IUse% Mounted on
<DEV> <COUNT> <COUNT> <COUNT> <PCT> <PATH>
<SIZE> <PATH>/<DIR>
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NLINK NODE NAME
<PROCESS> <ID> <USER> <FD> <TYPE> <DEV> <SIZE> 0 <ID> <PATH> (deleted)实际容量、百分比、设备名和进程信息会因主机而不同。若 df 接近 100% 而某个目录在 du 中明显偏大,继续向该目录下钻即可;若 df 很高但 du 合计明显偏小,应优先关注 lsof +L1 中 NLINK 为 0 的大文件。
inode 耗尽时,即使还有几十 GB 空间,也可能无法创建新文件。此时 df -i 的 IUse% 接近 100%,通常需要定位产生海量小文件的目录,而不是扩容大文件空间。
用设备与进程指标定位 I/O 延迟
容量正常却出现高延迟时,观察块设备的等待时间、队列和繁忙程度,再定位哪个进程持续读写。iostat 与 pidstat 通常由 sysstat 提供;若系统未安装,应按发行版的软件包管理流程补齐后再诊断。
iostat -xz 1 3
pidstat -d 1 3预期输出
Device r/s w/s await aqu-sz %util
<DEV> <N> <N> <MS> <N> <PCT>
UID PID kB_rd/s kB_wr/s Command
<ID> <ID> <RATE> <RATE> <PROCESS>实际数值会持续变化。单独看到 %util 较高不能直接判定磁盘故障,应结合 await、队列深度和业务延迟判断;如果某个进程写入速率长期远高于其他进程,再检查其日志、临时文件、数据库刷盘或批处理任务。
根据根因选择处置方式
空间被普通日志或临时文件占满时,先确认保留策略,再清理历史数据并修复日志轮转;inode 被小文件耗尽时,需要删除无价值的小文件并限制其产生速度。被删除文件仍由进程持有时,应优先通过应用支持的重载、日志 reopen 或有序重启释放文件描述符。
如果数据本身持续增长且属于有效业务数据,清理只能暂时缓解,应扩容文件系统、迁移数据或调整数据保留周期。若根因是某个任务持续打满设备,则应考虑限流、降低并发、错峰执行,或把高 I/O 工作负载迁移到独立磁盘。
验证空间与延迟是否同时恢复
处置后不要只确认告警消失。重新检查 df -hT、df -i、iostat -xz 和业务请求延迟,确保空间已经释放、inode 恢复、设备等待时间下降,并且异常进程的读写速率回到合理范围。只有容量和性能证据都恢复,才能确认这次磁盘故障真正闭环。