命令行与文本处理 / 系统课时
怎样自动查找异常大文件
怎样自动查找异常大文件
磁盘告警出现后,最先要回答的不是“删什么”,而是“哪些文件异常占空间”。本节用 find 按文件大小和修改时间筛选目标,再输出大小、时间和路径,形成可直接加入巡检脚本的结果。
学习目标
- 使用
find同时按大小、类型和修改时间筛选文件 - 输出便于排序和人工核查的巡检结果
- 理解
-size、-mtime与 GNU-printf的关键边界
先把巡检条件写清楚
查“大文件”必须先定义阈值,否则结果容易被正常数据文件淹没。常见条件包括:只检查普通文件、文件大于指定容量、最近若干天仍被修改,以及限制在明确目录中。
GNU find 中,-size +100M 表示文件大小大于 100 MiB;-mtime -7 表示按 24 小时周期计算的修改年龄小于 7 天。巡检目录应尽量具体,例如 /var/log,避免无差别扫描整个根文件系统。
输出路径、大小和修改时间
下面脚本接收目录、最小容量和最近修改天数,并按文件大小从大到小输出。示例依赖 GNU find 的 -printf,适用于常见 Linux 环境。
#!/usr/bin/env bash
set -euo pipefail
root="${1:-/var/log}"
min_mb="${2:-100}"
days="${3:-7}"
find "$root" -type f -size +"${min_mb}"M -mtime -"${days}" \
-printf '%s\t%TY-%Tm-%Td %TH:%TM\t%p\n' 2>/dev/null |
sort -nr -k1,1 |
awk -F '\t' 'BEGIN { OFS="\t" }
{ printf "%.1f MiB\t%s\t%s\n", $1 / 1048576, $2, $3 }'预期输出
842.6 MiB <TIME> <PATH>
317.2 MiB <TIME> <PATH><TIME> 和 <PATH> 会随主机实际文件变化。第一列来自字节数换算,第二列是最后修改时间,第三列是完整路径;先按字节排序再换算,可以避免把格式化后的文本大小当成字符串排序。
把结果用于自动巡检
定时任务中通常只需要把脚本输出重定向到报告文件,或者在结果非空时触发告警。不要在“发现大文件”的同一条命令里直接删除文件,因为容量异常并不等于文件无用。
如果要排查“很久没改但仍占空间”的历史文件,可以把条件改成 -mtime +30;如果只关心容量,不需要时间条件,则移除 -mtime。修改筛选条件时应先在只读模式下观察结果,再决定后续动作。
处理权限和特殊文件名
示例把无权访问目录产生的错误丢到 /dev/null,适合巡检报告保持干净;如果正在排查权限问题,应去掉 2>/dev/null,否则可能误以为扫描覆盖了所有目录。
按制表符分列的文本适合常见日志路径,但文件名本身可能包含制表符或换行。对不受控目录做严格自动化处理时,应采用 -print0 配合支持 NUL 分隔的后续工具,避免文件名破坏记录边界。