Linux 与服务器运维 / 系统课时
排查磁盘空间不足
排查磁盘空间不足
磁盘告警不能只看“哪个目录最大”。本节用一套可重复的顺序区分文件系统容量、inode 耗尽、已删除但仍被进程占用,以及日志持续增长四类问题,并在清理后验证空间是否真正释放。
学习目标
- 用
df、du和find从文件系统逐层定位空间占用 - 识别“文件已删除但空间未释放”的进程占用问题
- 判断日志增长是否是根因,并用安全方式完成清理与复查
先确认是容量还是 inode 用尽
先不要直接删除文件。df -h 查看块空间,df -i 查看 inode;两者任意一个达到 100% 都可能表现为“磁盘已满”。如果只有某个挂载点异常,后续排查应限制在该文件系统内,避免把其他挂载点的数据算进去。
df -h
df -i预期输出
Filesystem Size Used Avail Use% Mounted on
/dev/<ID> 40G 39G 1.0G 98% /
...
Filesystem Inodes IUsed IFree IUse% Mounted on
/dev/<ID> <VALUE> <VALUE> <VALUE> 12% /实际设备名、容量和比例会不同。若块空间接近 100% 而 inode 充足,继续查大目录;若 inode 接近 100%,重点查海量小文件,而不是只找单个大文件。
从挂载点逐层定位大目录和大文件
对根文件系统排查时,使用 -x 限制 du 不跨文件系统。先看一级目录,再进入最大的目录重复执行,比直接全盘 find 更容易控制耗时。
sudo du -xhd1 / 2>/dev/null | sort -h
sudo du -xhd1 /var 2>/dev/null | sort -h
sudo find /var -xdev -type f -size +500M -printf '%s %p\n' 2>/dev/null | sort -n | tail预期输出
...
8.2G /var
21G /var/lib
...
734003200 /var/log/<PATH>.log
2147483648 /var/lib/<PATH>/<PATH>.bindu 显示的是仍存在于目录树中的文件。若 df 显示已用空间很高,而 du 汇总明显偏小,就要怀疑文件已经删除,但仍被进程保持打开。
查找已删除但仍占用空间的文件
Linux 只有在文件的目录项被删除且所有进程都关闭该文件描述符后,空间才会回收。日志文件被 rm 删除后,服务如果仍在写旧文件描述符,文件名虽然消失,磁盘块仍然被占用。
sudo lsof +L1预期输出
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NLINK NODE NAME
<PROC> <PID> <USER> <FD> REG <ID> <VALUE> 0 <ID> /var/log/<PATH>.log (deleted)若 SIZE/OFF 很大,先确认进程属于哪个服务,再让服务正常重新打开文件。通常优先选择重启或 reload 对应服务,而不是直接操作 /proc/<PID>/fd。下面假设占用者已经确认属于 Nginx。
sudo systemctl restart nginx
sudo lsof +L1 | grep nginx || true预期结果
(no output)重启后若筛选结果为空,说明 Nginx 已不再保持 deleted 文件;对应空间应被释放。生产环境执行前要评估重启影响,其他服务应替换为其真实 unit 名称。
判断日志是否持续增长
如果 /var/log 或 systemd journal 占用异常,先测量,再限额清理。对 journal 可先查看当前占用,再按容量保留;普通应用日志应优先修复轮转策略,而不是长期依赖手工删除。
sudo journalctl --disk-usage
sudo du -sh /var/log
sudo journalctl --vacuum-size=500M预期输出
Archived and active journals take up <VALUE> in the file system.
<VALUE> /var/log
Vacuuming done, freed <VALUE> of archived journals from /var/log/journal/<ID>.journalctl --vacuum-size=500M 会删除旧的归档 journal 直到总占用满足限制,实际释放量可能为 0。对于普通日志,检查 logrotate 或应用自身的日志保留参数,避免问题很快复发。
清理后验证空间是否真正恢复
清理动作完成后再次检查块空间、inode 和删除文件占用。只有三项都符合预期,才算排查闭环。
df -h
df -i
sudo lsof +L1预期结果
Filesystem Size Used Avail Use% Mounted on
/dev/<ID> 40G 31G 9.0G 78% /
...
<no deleted open files>如果 df 仍未下降,就回到“df 与 du 是否一致”这一判断点;若空间释放后又快速上涨,则继续追踪增长最快的日志、缓存或业务数据源,而不是重复做一次性删除。