Linux 与服务器运维 / 系统课时

排查空间与 inode 耗尽

排查空间与 inode 耗尽

磁盘告警不能只看“剩余空间为零”。本课用 df、du、find、lsof 建立一条固定定位链路,区分真实文件占满、已删除文件仍被进程占用,以及 inode 被海量小文件耗尽三类问题,并给出对应的安全处置方式。

学习目标

  • 用空间使用率与 inode 使用率快速判断故障类型。
  • 解释 df 与 du 结果不一致时,为什么要检查已删除但仍打开的文件。
  • 用 find 和 lsof 定位异常大文件、海量小文件与未释放文件句柄。

先确认到底耗尽了什么

先看文件系统容量,再看 inode。Use% 接近 100% 说明数据块紧张;IUse% 接近 100% 则说明 inode 紧张,即使还有大量 GB 空间,也可能无法创建新文件。

bash
df -hT
df -ih

预期输出

text
Filesystem     Type  Size  Used Avail Use% Mounted on
/dev/vda3      ext4   80G   76G  4.0G  95% /
Filesystem     Inodes IUsed IFree IUse% Mounted on
/dev/vda3        5.0M  420K  4.6M    9% /

设备名、容量和比例会因主机而不同。第一组数据表示空间紧张但 inode 正常;如果第二组 IUse% 接近 100%,应优先按“小文件过多”方向排查。

磁盘空间与 inode 故障分流图

用 du 和 find 找到真实增长点

du 从目录树统计仍可见文件的大小。先限制在同一个文件系统,避免把挂载在 /var 下的其他盘也算进去;再从一级目录缩小范围,最后定位超大文件。

bash
sudo du -xhd1 /var 2>/dev/null | sort -h
sudo find /var -xdev -type f -size +1G -printf '%s %p\n' 2>/dev/null | sort -nr | head -20

预期输出

text
1.8G    /var/lib
22G     /var/log
28G     /var
12884901888 /var/log/app/service.log

实际路径和大小可能不同。若某个日志持续增长,应先确认应用日志级别、轮转策略和保留周期,再清理历史文件;不要在不确认用途时直接删除数据库、队列或容器运行时的数据目录。

处理 df 与 du 明显不一致

如果 df 显示磁盘已满,但 du 汇总出来的可见文件远小于已用空间,常见原因是文件已被删除,但进程仍保持打开的文件描述符。目录项虽然消失,文件占用的数据块要等最后一个句柄关闭后才释放。

bash
sudo lsof +L1

预期输出

text
COMMAND   PID USER   FD   TYPE DEVICE  SIZE/OFF NLINK NODE NAME
java     <ID> app    17w  REG  253,3  <SIZE>      0 <ID> /var/log/app/service.log (deleted)

<ID>、<SIZE> 等动态值以现场为准。确认进程和文件确实可安全释放后,优先通过应用自身的日志重开机制或受控重启服务关闭句柄,再用 df -hT 复核;不要只因为看到 (deleted) 就强制结束关键进程。

inode 满时定位小文件

inode 耗尽通常来自缓存、会话文件、邮件队列、临时目录或失控的分片日志。此时查“最大文件”帮助不大,应统计哪些目录包含最多文件,再针对业务清理或调整保留策略。

bash
sudo find /var -xdev -type f -printf '%h\n' 2>/dev/null | sort | uniq -c | sort -nr | head -20

预期输出

text
850000 /var/lib/app/cache
120000 /var/spool/app
34000 /var/log/app

数量会随主机变化。找到热点目录后,应先确认文件是否仍被业务引用,再通过应用清理命令、生命周期策略或定时任务处理;长期治理要减少无界小文件,并监控 inode 使用率而不只监控容量。

用同一组指标验证恢复

修复后重新执行 df -hT 和 df -ih,并确认写入失败的业务恢复。空间问题要看到 Use% 下降,inode 问题要看到 IUse% 下降;若只清理了目录但指标没有变化,应再次检查 lsof +L1 和挂载点是否判断正确。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

排查空间与 inode 耗尽

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通