Linux 与服务器运维 / 系统课时

排查磁盘空间不足

排查磁盘空间不足

磁盘告警不能只看“哪个目录最大”。本节用一套可重复的顺序区分文件系统容量、inode 耗尽、已删除但仍被进程占用,以及日志持续增长四类问题,并在清理后验证空间是否真正释放。

学习目标

  • 用 df、du 和 find 从文件系统逐层定位空间占用
  • 识别“文件已删除但空间未释放”的进程占用问题
  • 判断日志增长是否是根因,并用安全方式完成清理与复查

先确认是容量还是 inode 用尽

先不要直接删除文件。df -h 查看块空间,df -i 查看 inode;两者任意一个达到 100% 都可能表现为“磁盘已满”。如果只有某个挂载点异常,后续排查应限制在该文件系统内,避免把其他挂载点的数据算进去。

bash
df -h
df -i

预期输出

text
Filesystem      Size  Used Avail Use% Mounted on
/dev/<ID>        40G   39G  1.0G  98% /
...
Filesystem      Inodes IUsed IFree IUse% Mounted on
/dev/<ID>       <VALUE> <VALUE> <VALUE> 12% /

实际设备名、容量和比例会不同。若块空间接近 100% 而 inode 充足,继续查大目录;若 inode 接近 100%,重点查海量小文件,而不是只找单个大文件。

从挂载点逐层定位大目录和大文件

对根文件系统排查时,使用 -x 限制 du 不跨文件系统。先看一级目录,再进入最大的目录重复执行,比直接全盘 find 更容易控制耗时。

bash
sudo du -xhd1 / 2>/dev/null | sort -h
sudo du -xhd1 /var 2>/dev/null | sort -h
sudo find /var -xdev -type f -size +500M -printf '%s %p\n' 2>/dev/null | sort -n | tail

预期输出

text
...
8.2G    /var
21G     /var/lib
...
734003200 /var/log/<PATH>.log
2147483648 /var/lib/<PATH>/<PATH>.bin

du 显示的是仍存在于目录树中的文件。若 df 显示已用空间很高,而 du 汇总明显偏小,就要怀疑文件已经删除,但仍被进程保持打开。

查找已删除但仍占用空间的文件

Linux 只有在文件的目录项被删除且所有进程都关闭该文件描述符后,空间才会回收。日志文件被 rm 删除后,服务如果仍在写旧文件描述符,文件名虽然消失,磁盘块仍然被占用。

bash
sudo lsof +L1

预期输出

text
COMMAND   PID   USER   FD   TYPE DEVICE  SIZE/OFF NLINK NODE NAME
<PROC>    <PID> <USER> <FD> REG  <ID>    <VALUE>     0 <ID> /var/log/<PATH>.log (deleted)

若 SIZE/OFF 很大,先确认进程属于哪个服务,再让服务正常重新打开文件。通常优先选择重启或 reload 对应服务,而不是直接操作 /proc/<PID>/fd。下面假设占用者已经确认属于 Nginx。

bash
sudo systemctl restart nginx
sudo lsof +L1 | grep nginx || true

预期结果

text
(no output)

重启后若筛选结果为空,说明 Nginx 已不再保持 deleted 文件;对应空间应被释放。生产环境执行前要评估重启影响,其他服务应替换为其真实 unit 名称。

判断日志是否持续增长

如果 /var/log 或 systemd journal 占用异常,先测量,再限额清理。对 journal 可先查看当前占用,再按容量保留;普通应用日志应优先修复轮转策略,而不是长期依赖手工删除。

bash
sudo journalctl --disk-usage
sudo du -sh /var/log
sudo journalctl --vacuum-size=500M

预期输出

text
Archived and active journals take up <VALUE> in the file system.
<VALUE>  /var/log
Vacuuming done, freed <VALUE> of archived journals from /var/log/journal/<ID>.

journalctl --vacuum-size=500M 会删除旧的归档 journal 直到总占用满足限制,实际释放量可能为 0。对于普通日志,检查 logrotate 或应用自身的日志保留参数,避免问题很快复发。

清理后验证空间是否真正恢复

清理动作完成后再次检查块空间、inode 和删除文件占用。只有三项都符合预期,才算排查闭环。

bash
df -h
df -i
sudo lsof +L1

预期结果

text
Filesystem      Size  Used Avail Use% Mounted on
/dev/<ID>        40G   31G  9.0G  78% /
...
<no deleted open files>

如果 df 仍未下降,就回到“df 与 du 是否一致”这一判断点;若空间释放后又快速上涨,则继续追踪增长最快的日志、缓存或业务数据源,而不是重复做一次性删除。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

排查磁盘空间不足

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通