Linux 与服务器运维 / 系统课时

定位磁盘空间突然告警

定位磁盘空间突然告警

磁盘告警出现后,最危险的处理方式是直接删除大文件。本篇按“先确认哪个文件系统满了,再确认是块空间还是 inode,最后定位目录和文件”的顺序排查,并区分普通大文件、日志持续增长以及已删除但仍被进程占用的文件。

学习目标

  • 使用 df 判断告警发生在哪个文件系统,并区分容量不足与 inode 耗尽
  • 使用 du 和 find 把空间占用定位到具体目录和大文件
  • 能识别日志增长和“文件已删但空间未释放”这两类常见陷阱

先确认是容量还是 inode

收到磁盘告警后,第一步不是进入 /var/log 猜日志,而是确认哪个挂载点真正接近上限。先查看块空间,再查看 inode。

bash
df -hT
df -ih

预期输出

text
Filesystem     Type  Size  Used Avail Use% Mounted on
<DEVICE>       <TYPE> <SIZE> <SIZE> <SIZE> <PERCENT> <MOUNTPOINT>
Filesystem     Inodes IUsed IFree IUse% Mounted on
<DEVICE>       <COUNT> <COUNT> <COUNT> <PERCENT> <MOUNTPOINT>

如果 Use% 很高而 IUse% 正常,问题主要是文件内容占满空间;如果块空间还有余量但 IUse% 接近 100%,通常是大量小文件耗尽 inode。两种问题的定位方法不同。

Linux 磁盘空间告警排查流程

从文件系统缩小到目录

假设告警的是 /var 所在文件系统,可以从挂载点内第一层目录开始统计。-x 会限制在当前文件系统内,避免把其他挂载点的数据算进来。

bash
sudo du -xhd1 /var 2>/dev/null | sort -h

预期输出

text
<SIZE>  /var/tmp
<SIZE>  /var/lib
<SIZE>  /var/log
<SIZE>  /var

从输出中选择明显偏大的目录继续向下,例如 /var/log。不要一开始对整个根目录反复执行深层 du,在大型文件系统上这可能非常慢,并增加额外 I/O。

bash
sudo du -xhd1 /var/log 2>/dev/null | sort -h

预期输出

text
<SIZE>  /var/log/<SUBDIR>
<SIZE>  /var/log

如果某个目录显著增大,问题范围就从“磁盘满”收敛到了具体路径。

用 find 定位异常大文件

对容量型问题,可以在目标文件系统内查找大文件。下面示例寻找 /var 下大于 1 GiB 的普通文件,并打印大小与路径。

bash
sudo find /var -xdev -type f -size +1G -printf '%s %p\n' 2>/dev/null | sort -n

预期输出

text
<BYTES> /var/<PATH>/<FILE>

若输出集中在日志目录,应先确认日志为何持续增长,再决定轮转、压缩或清理;若是业务数据文件,应先确认数据保留策略。删除前要知道文件由哪个进程写入、是否可重建、是否有合规或审计要求。

排查已删除但仍占用的文件

当 df 显示空间已满,但 du 加总出来明显小很多时,要怀疑“文件名已删除,但进程仍持有文件描述符”。这种空间对目录遍历不可见,却仍被文件系统计入使用量。

bash
sudo lsof +L1

预期输出

text
COMMAND   PID USER   FD   TYPE DEVICE  SIZE/OFF NLINK NODE NAME
<PROCESS> <PID> <USER> <FD> <TYPE> <DEVICE> <BYTES> 0 <ID> <PATH> (deleted)

如果确认某个进程仍持有巨大的 (deleted) 文件,应优先按服务规范让进程重新打开日志或正常重启相关服务,而不是继续删除其他文件。处理后重新执行 df -hT 验证空间是否回落。

inode 告警要找海量小文件

inode 用尽时,重点不是大文件,而是文件数量。可以先对可疑目录统计普通文件个数,再逐层缩小范围。

bash
sudo find /var -xdev -type f | wc -l

预期输出

text
<COUNT>

如果 /var 文件数量异常高,再分别检查缓存目录、队列目录、临时目录或应用运行目录。常见根因包括程序不断创建小文件却不清理、任务队列堆积、缓存失控等。修复时应同时处理生成机制,否则单次删除只能暂时恢复空间。

磁盘告警的正确闭环是:先用 df 确定文件系统和问题类型,再用 du、find 或 lsof 找到证据,修复根因后重新检查容量或 inode。只有在明确知道“删什么、为什么能删、删后如何验证”时,清理动作才是安全的。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

定位磁盘空间突然告警

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通