Linux 与服务器运维 / 系统课时
日志文件爆满应该怎么处理
日志文件爆满应该怎么处理
日志爆满时,目标不是“马上删文件”,而是先确认哪个文件在增长、哪个进程仍持有它,再安全释放空间,并修正轮转策略。这样既能避免误伤正在运行的服务,也能防止删了日志却发现磁盘空间仍未回收。
学习目标
- 用
du、lsof和进程信息定位失控日志及其写入者 - 区分截断、删除与重启进程对磁盘空间的不同影响
- 检查
logrotate与应用自身日志策略,避免问题重复发生
先定位真正占空间的日志
先确认文件系统确实接近满盘,再从目标目录中找大文件。下面示例假设日志位于 /var/log,实际目录可能是应用自己的 <PATH>。
df -h /var/log
sudo du -xah /var/log | sort -h | tail -n 20预期输出
Filesystem Size Used Avail Use% Mounted on
/dev/<ID> <SIZE> <SIZE> <SIZE> 96% /
...
<SIZE> /var/log/<PATH>.logdf 看的是文件系统整体占用,du 看的是当前目录树中仍可见文件的大小。若两者差距很大,就要怀疑“文件已经删除,但仍被进程打开”的情况,而不是继续盲目清理其他目录。
不要直接删除仍在写入的日志
Linux 进程通过文件描述符写文件。即使路径被删除,只要进程仍持有对应 inode,磁盘块就不会立即释放。此时 du 可能看不到文件,但 df 仍显示空间被占用。
可以检查已经删除但仍被占用的文件:
sudo lsof +L1预期输出
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NLINK NODE NAME
<PROC> <ID> <USER> 5w REG <DEV> <SIZE> 0 <ID> /var/log/<PATH>.log (deleted)出现 (deleted) 且 SIZE/OFF 很大时,说明删除动作并没有真正释放空间。更稳妥的处理是让应用重新打开日志文件,优先使用服务支持的 reload 或日志重开信号;没有这类机制时,再评估是否可以重启服务。
需要立刻腾空间时怎么做
如果确认日志只是普通文本文件,而且进程允许继续向同一路径写入,可以优先截断文件,而不是删除路径。截断会把现有文件长度降为 0,同时保留 inode 和打开的文件描述符。
sudo truncate -s 0 /var/log/<PATH>.log
sudo ls -lh /var/log/<PATH>.log预期输出
-rw-r----- 1 <USER> <GROUP> 0 <TIME> /var/log/<PATH>.log截断只能处理当前占用,不能解决持续爆量的根因。如果日志仍以异常速度增长,应继续排查应用错误循环、调试级别过高、请求风暴或重复重试等问题。
检查 logrotate 是否真的生效
系统级文本日志通常交给 logrotate。配置至少要回答三个问题:多长时间轮转、保留多少份、轮转后是否压缩。下面是一个配置片段示例,需放入 /etc/logrotate.d/<ID> 并按实际日志路径修改。
/var/log/<PATH>.log {
daily
rotate 7
compress
missingok
notifempty
}这段配置表示每天轮转一次,保留 7 份旧日志并压缩;空日志不轮转,文件暂时不存在也不报错。它是否适合当前应用,还取决于应用能否正确处理日志文件被轮转后的继续写入。
可以用调试模式检查规则是否能匹配目标文件:
sudo logrotate -d /etc/logrotate.conf预期输出
reading config file /etc/logrotate.conf
...
considering log /var/log/<PATH>.log
...-d 只做调试,不真正执行轮转。若目标日志完全没有出现在输出中,通常是配置未被包含、路径写错,或配置文件权限与格式有问题。
验证空间是否真正回收
处理后同时看文件系统、文件大小和被删除文件句柄,三者应相互印证。
df -h /
sudo du -sh /var/log
sudo lsof +L1预期输出
Filesystem Size Used Avail Use% Mounted on
/dev/<ID> <SIZE> <SIZE> <SIZE> <PERCENT> /
<SIZE> /var/log如果 df 的可用空间明显增加,并且 lsof +L1 不再出现大体积 deleted 文件,说明空间已经真正释放。随后应把重点转向长期策略:限制日志级别、配置可靠轮转,并让应用在轮转后正确重新打开日志文件。