Linux 与服务器运维 / 系统课时
用 awk 汇总巡检数据
用 awk 汇总巡检数据
巡检命令通常会输出很多行,但运维真正需要的是“哪些项目异常、异常多少个、整体是否越界”。本节用 awk 的字段访问、条件判断和聚合变量,把磁盘等表格型输出压缩成可直接用于告警或后续脚本判断的结果。
学习目标
- 使用
$1、$2等字段变量读取表格型命令输出 - 用条件表达式筛选超过阈值的记录
- 在
END阶段汇总数量、平均值和异常数
把每一行当成一条记录
awk 默认按空白字符切分字段,一行输入就是一条记录。$1 表示第一列,$2 表示第二列,$0 则表示整行;内置变量 NR 表示当前处理到第几条记录。
处理巡检数据时,常见结构可以概括为“读一行 → 提取字段 → 判断阈值 → 累加统计”。最终汇总放在 END 块中,它只会在所有输入处理完之后执行一次,因此特别适合生成统计结果。
汇总磁盘巡检结果
下面用固定样本模拟磁盘巡检输出。脚本跳过表头,去掉使用率中的 %,列出达到阈值的文件系统,同时计算全部记录的平均使用率和异常数量。
set -euo pipefail
cat > disk.txt <<'EOF'
filesystem used_pct mount
/dev/sda1 68% /
/dev/sdb1 87% /data
/dev/sdc1 92% /backup
tmpfs 12% /run
EOF
threshold=85
awk -v threshold="$threshold" '
NR == 1 { next }
{
used = $2
gsub(/%/, "", used)
total += used
count++
if (used >= threshold) {
alert++
printf "ALERT filesystem=%s mount=%s used=%d%%\n", $1, $3, used
}
}
END {
if (count == 0) {
print "SUMMARY no data"
exit 1
}
printf "SUMMARY count=%d avg=%.1f%% alert=%d\n", count, total / count, alert + 0
}
' disk.txt预期输出:
ALERT filesystem=/dev/sdb1 mount=/data used=87%
ALERT filesystem=/dev/sdc1 mount=/backup used=92%
SUMMARY count=4 avg=64.8% alert=2-v threshold="$threshold" 用于把 Shell 变量安全地传给 awk。相比直接把变量拼进 awk 程序文本,这种方式更清楚,也能减少引号嵌套带来的错误。
理解条件与聚合
NR == 1 { next } 在第一行立即进入下一条记录,因此表头不会参与计算。gsub(/%/, "", used) 在变量 used 中删除百分号,随后参与数值比较和加法时会按数字处理。
total += used、count++ 和 alert++ 都是跨记录保存的聚合状态。最后使用 total / count 得到平均值。表达式 alert + 0 则保证没有任何异常时也输出数字 0,而不是空字符串。
迁移到真实巡检命令
把示例换成真实数据时,首先确认字段分隔方式,而不是直接照搬列号。例如磁盘命令、进程列表和访问日志的列含义完全不同;如果是逗号或冒号分隔的数据,可以通过 -F 指定分隔符。
阈值也应通过 -v 参数传入,使同一份 awk 逻辑能够复用于不同环境。最终输出最好保持稳定的键值结构,例如 ALERT ... 与 SUMMARY ...,这样后续 Shell 可以继续用退出码、grep 或其他工具判断是否触发告警。
避免巡检脚本误判
聚合脚本最常见的问题不是语法错误,而是输入发生变化后仍然产生“看似正常”的结果。生产脚本至少要防御空输入、表头变化和非数字字段,并确认命令失败时不会把错误文本当成业务数据继续统计。
当 awk 最终输出已经包含异常明细、记录总数和汇总指标时,巡检任务就不再依赖人工逐行阅读,而可以直接把结果交给告警、日报或自动处置流程。