Linux 与服务器运维 / 系统课时
定位磁盘空间突然告警
定位磁盘空间突然告警
磁盘告警出现后,最危险的处理方式是直接删除大文件。本篇按“先确认哪个文件系统满了,再确认是块空间还是 inode,最后定位目录和文件”的顺序排查,并区分普通大文件、日志持续增长以及已删除但仍被进程占用的文件。
学习目标
- 使用
df判断告警发生在哪个文件系统,并区分容量不足与 inode 耗尽 - 使用
du和find把空间占用定位到具体目录和大文件 - 能识别日志增长和“文件已删但空间未释放”这两类常见陷阱
先确认是容量还是 inode
收到磁盘告警后,第一步不是进入 /var/log 猜日志,而是确认哪个挂载点真正接近上限。先查看块空间,再查看 inode。
df -hT
df -ih预期输出
Filesystem Type Size Used Avail Use% Mounted on
<DEVICE> <TYPE> <SIZE> <SIZE> <SIZE> <PERCENT> <MOUNTPOINT>
Filesystem Inodes IUsed IFree IUse% Mounted on
<DEVICE> <COUNT> <COUNT> <COUNT> <PERCENT> <MOUNTPOINT>如果 Use% 很高而 IUse% 正常,问题主要是文件内容占满空间;如果块空间还有余量但 IUse% 接近 100%,通常是大量小文件耗尽 inode。两种问题的定位方法不同。

从文件系统缩小到目录
假设告警的是 /var 所在文件系统,可以从挂载点内第一层目录开始统计。-x 会限制在当前文件系统内,避免把其他挂载点的数据算进来。
sudo du -xhd1 /var 2>/dev/null | sort -h预期输出
<SIZE> /var/tmp
<SIZE> /var/lib
<SIZE> /var/log
<SIZE> /var从输出中选择明显偏大的目录继续向下,例如 /var/log。不要一开始对整个根目录反复执行深层 du,在大型文件系统上这可能非常慢,并增加额外 I/O。
sudo du -xhd1 /var/log 2>/dev/null | sort -h预期输出
<SIZE> /var/log/<SUBDIR>
<SIZE> /var/log如果某个目录显著增大,问题范围就从“磁盘满”收敛到了具体路径。
用 find 定位异常大文件
对容量型问题,可以在目标文件系统内查找大文件。下面示例寻找 /var 下大于 1 GiB 的普通文件,并打印大小与路径。
sudo find /var -xdev -type f -size +1G -printf '%s %p\n' 2>/dev/null | sort -n预期输出
<BYTES> /var/<PATH>/<FILE>若输出集中在日志目录,应先确认日志为何持续增长,再决定轮转、压缩或清理;若是业务数据文件,应先确认数据保留策略。删除前要知道文件由哪个进程写入、是否可重建、是否有合规或审计要求。
排查已删除但仍占用的文件
当 df 显示空间已满,但 du 加总出来明显小很多时,要怀疑“文件名已删除,但进程仍持有文件描述符”。这种空间对目录遍历不可见,却仍被文件系统计入使用量。
sudo lsof +L1预期输出
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NLINK NODE NAME
<PROCESS> <PID> <USER> <FD> <TYPE> <DEVICE> <BYTES> 0 <ID> <PATH> (deleted)如果确认某个进程仍持有巨大的 (deleted) 文件,应优先按服务规范让进程重新打开日志或正常重启相关服务,而不是继续删除其他文件。处理后重新执行 df -hT 验证空间是否回落。
inode 告警要找海量小文件
inode 用尽时,重点不是大文件,而是文件数量。可以先对可疑目录统计普通文件个数,再逐层缩小范围。
sudo find /var -xdev -type f | wc -l预期输出
<COUNT>如果 /var 文件数量异常高,再分别检查缓存目录、队列目录、临时目录或应用运行目录。常见根因包括程序不断创建小文件却不清理、任务队列堆积、缓存失控等。修复时应同时处理生成机制,否则单次删除只能暂时恢复空间。
磁盘告警的正确闭环是:先用 df 确定文件系统和问题类型,再用 du、find 或 lsof 找到证据,修复根因后重新检查容量或 inode。只有在明确知道“删什么、为什么能删、删后如何验证”时,清理动作才是安全的。