命令行与文本处理 / 系统课时

用 awk 做简单统计计算

用 awk 做简单统计计算

运维日志通常是一行一条记录、字段位置相对固定。awk 不只会提取列,还能用变量累计数量和容量,并通过条件表达式分类统计。本节用一份访问日志完成请求数、流量和异常状态统计。

学习目标

  • 使用 awk 变量累计记录数与数值字段
  • 使用条件表达式统计满足条件的记录
  • 从日志中一次生成多项简单运维指标

把日志字段映射成统计对象

假设访问日志已经简化为三列:客户端 IP、HTTP 状态码、响应字节数。对于这种字段稳定的数据,awk 会自动按空白字符切分,每行中的 $1、$2、$3 分别表示前三列。

统计的关键不是先写复杂语法,而是先确定每读到一行要更新什么:总请求数增加 1,总字节数累加第三列,如果状态码大于等于 500,再增加一次服务器错误计数。

用变量完成一次扫描统计

下面的示例会先创建测试日志,再用一个 awk 命令完成三项统计。count、bytes 和 errors 都是累计变量;主体代码对每一行执行一次,END 块只在全部输入处理完后执行。

bash
cat > /tmp/awk-access.log <<'EOF'
10.0.0.1 200 1200
10.0.0.2 200 850
10.0.0.1 500 300
10.0.0.3 404 120
10.0.0.2 503 450
EOF

awk '{
  count++
  bytes += $3
  if ($2 >= 500) errors++
}
END {
  print "requests", count
  print "bytes", bytes
  print "server_errors", errors
}' /tmp/awk-access.log

预期输出

text
requests 5
bytes 2920
server_errors 2

这里没有显式初始化变量,因为 awk 在数值运算中会把未赋值变量视为 0。对于简单累计可以利用这一行为,但变量名仍应体现含义,避免把多个统计值混在一起。

用条件决定哪些记录参与统计

条件可以放在动作内部,也可以直接写成 awk 的模式。比如只计算 5xx 响应的字节数,可以写成 $2 >= 500 { bytes += $3 }。模式不匹配的行不会执行后面的动作,因此特别适合过滤后再累计。

当条件越来越多时,应先确认字段含义是否稳定。真实 Web 日志可能包含引号包围的请求行、User-Agent 或自定义字段,此时不能仅凭“第几列”猜测数据含义,应先确认日志格式再确定 $N 的位置。

统计结果的边界

awk 很适合对文本流做轻量聚合,例如请求次数、状态码数量、文件容量总和、平均值前的总量计算。数据规模较大时,它仍然只需顺序读取输入,不必把整个文件加载到内存。

如果任务需要跨多天持久化结果、复杂关联或大量维度分析,继续堆叠 awk 条件会迅速降低可维护性,此时更适合把结果导入数据库或专门的日志分析系统。对于一次性的现场检查和 Shell 自动化统计,awk 则能用很短的命令完成从读取到汇总的完整过程。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用 awk 做简单统计计算

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通