Linux 与服务器运维 / 系统课时

日志文件爆满应该怎么处理

日志文件爆满应该怎么处理

日志爆满时,目标不是“马上删文件”,而是先确认哪个文件在增长、哪个进程仍持有它,再安全释放空间,并修正轮转策略。这样既能避免误伤正在运行的服务,也能防止删了日志却发现磁盘空间仍未回收。

学习目标

  • 用 du、lsof 和进程信息定位失控日志及其写入者
  • 区分截断、删除与重启进程对磁盘空间的不同影响
  • 检查 logrotate 与应用自身日志策略,避免问题重复发生

先定位真正占空间的日志

先确认文件系统确实接近满盘,再从目标目录中找大文件。下面示例假设日志位于 /var/log,实际目录可能是应用自己的 <PATH>。

bash
df -h /var/log
sudo du -xah /var/log | sort -h | tail -n 20

预期输出

text
Filesystem      Size  Used Avail Use% Mounted on
/dev/<ID>       <SIZE> <SIZE> <SIZE> 96% /
...
<SIZE>  /var/log/<PATH>.log

df 看的是文件系统整体占用,du 看的是当前目录树中仍可见文件的大小。若两者差距很大,就要怀疑“文件已经删除,但仍被进程打开”的情况,而不是继续盲目清理其他目录。

不要直接删除仍在写入的日志

Linux 进程通过文件描述符写文件。即使路径被删除,只要进程仍持有对应 inode,磁盘块就不会立即释放。此时 du 可能看不到文件,但 df 仍显示空间被占用。

可以检查已经删除但仍被占用的文件:

bash
sudo lsof +L1

预期输出

text
COMMAND   PID USER   FD   TYPE DEVICE  SIZE/OFF NLINK NODE NAME
<PROC>   <ID> <USER>  5w   REG  <DEV>  <SIZE>      0 <ID> /var/log/<PATH>.log (deleted)

出现 (deleted) 且 SIZE/OFF 很大时,说明删除动作并没有真正释放空间。更稳妥的处理是让应用重新打开日志文件,优先使用服务支持的 reload 或日志重开信号;没有这类机制时,再评估是否可以重启服务。

需要立刻腾空间时怎么做

如果确认日志只是普通文本文件,而且进程允许继续向同一路径写入,可以优先截断文件,而不是删除路径。截断会把现有文件长度降为 0,同时保留 inode 和打开的文件描述符。

bash
sudo truncate -s 0 /var/log/<PATH>.log
sudo ls -lh /var/log/<PATH>.log

预期输出

text
-rw-r----- 1 <USER> <GROUP> 0 <TIME> /var/log/<PATH>.log

截断只能处理当前占用,不能解决持续爆量的根因。如果日志仍以异常速度增长,应继续排查应用错误循环、调试级别过高、请求风暴或重复重试等问题。

检查 logrotate 是否真的生效

系统级文本日志通常交给 logrotate。配置至少要回答三个问题:多长时间轮转、保留多少份、轮转后是否压缩。下面是一个配置片段示例,需放入 /etc/logrotate.d/<ID> 并按实际日志路径修改。

text
/var/log/<PATH>.log {
    daily
    rotate 7
    compress
    missingok
    notifempty
}

这段配置表示每天轮转一次,保留 7 份旧日志并压缩;空日志不轮转,文件暂时不存在也不报错。它是否适合当前应用,还取决于应用能否正确处理日志文件被轮转后的继续写入。

可以用调试模式检查规则是否能匹配目标文件:

bash
sudo logrotate -d /etc/logrotate.conf

预期输出

text
reading config file /etc/logrotate.conf
...
considering log /var/log/<PATH>.log
...

-d 只做调试,不真正执行轮转。若目标日志完全没有出现在输出中,通常是配置未被包含、路径写错,或配置文件权限与格式有问题。

验证空间是否真正回收

处理后同时看文件系统、文件大小和被删除文件句柄,三者应相互印证。

bash
df -h /
sudo du -sh /var/log
sudo lsof +L1

预期输出

text
Filesystem      Size  Used Avail Use% Mounted on
/dev/<ID>       <SIZE> <SIZE> <SIZE> <PERCENT> /
<SIZE>  /var/log

如果 df 的可用空间明显增加,并且 lsof +L1 不再出现大体积 deleted 文件,说明空间已经真正释放。随后应把重点转向长期策略:限制日志级别、配置可靠轮转,并让应用在轮转后正确重新打开日志文件。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

日志文件爆满应该怎么处理

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通