命令行与文本处理 / 知识点
grep / sed / awk 文本处理速查手册
awk:字段、记录与基础匹配
awk '{print FNR, $0}' <FILES...>FNR 在每个新文件重新从 1 开始。
打印当前文件行号
FNR 在每个新文件重新从 1 开始。
基本语法
awk '{print FNR, $0}' <FILES...>推荐用法
awk '{print FILENAME, FNR, $0}' a.txt b.txt预期结果
每个文件独立行号。关键边界
多文件处理中区分 NR/FNR 很重要。
awk '{print NF}' <FILE>输出每行拆分后的字段数量。
打印字段数
输出每行拆分后的字段数量。
基本语法
awk '{print NF}' <FILE>推荐用法
awk '{print NF}' input.txt预期结果
每行输出一个整数。关键边界
NF 同时可以用于访问最后一个字段 $NF。
awk '{print $NF}' <FILE>打印当前记录最后一个字段。
打印最后字段
打印当前记录最后一个字段。
基本语法
awk '{print $NF}' <FILE>推荐用法
awk '{print $NF}' access.log预期结果
输出每行最后字段。关键边界
字段数不固定的日志很常用。
awk '/<REGEX>/{...}' <FILE>只对正则匹配的记录执行动作。
匹配正则的记录
只对正则匹配的记录执行动作。
基本语法
awk '/<REGEX>/{...}' <FILE>推荐用法
awk '/ERROR/{print NR,$0}' app.log预期结果
输出 ERROR 行及行号。关键边界
正则写在 /.../ 中。
awk '!/<REGEX>/{...}' <FILE>对不匹配 pattern 的记录执行动作。
不匹配正则的记录
对不匹配 pattern 的记录执行动作。
基本语法
awk '!/<REGEX>/{...}' <FILE>推荐用法
awk '!/^#/{print}' app.conf预期结果
过滤注释行。关键边界
可进一步配合 NF 去空行。
awk 'NF && $0 !~ /^[[:space:]]*#/' <FILE>只保留有字段且不是注释的行。
过滤空行与注释
只保留有字段且不是注释的行。
基本语法
awk 'NF && $0 !~ /^[[:space:]]*#/' <FILE>推荐用法
awk 'NF && $0 !~ /^[[:space:]]*#/' app.conf预期结果
输出有效配置行。关键边界
比单纯 NF 多过滤注释。
awk '$N <OP> <VALUE>' <FILE>按字段值执行数值/字符串条件判断。
按字段条件筛选
按字段值执行数值/字符串条件判断。
基本语法
awk '$N <OP> <VALUE>' <FILE>推荐用法
awk '$3 >= 500 {print}' access.log预期结果
输出第三字段 >=500 的记录。关键边界
awk 会根据上下文进行字符串/数值转换。
awk:条件、变量与流程控制
awk 'BEGIN{...} {...}' <FILE>在读取第一条记录前执行初始化逻辑。
BEGIN 初始化
在读取第一条记录前执行初始化逻辑。
基本语法
awk 'BEGIN{...} {...}' <FILE>推荐用法
awk 'BEGIN{FS=","; OFS="\t"} {print $1,$2}' data.csv预期结果
设置 FS/OFS 后处理输入。关键边界
适合变量、分隔符、标题初始化。
awk '{...} END{...}' <FILE>输入读取结束后执行汇总逻辑。
END 汇总
输入读取结束后执行汇总逻辑。
基本语法
awk '{...} END{...}' <FILE>推荐用法
awk '{sum+=$2} END{print sum}' data.txt预期结果
输出最终 sum。关键边界
若输入为空,END 仍会执行。
awk '{if (<COND>) ...}' <FILE>在 action 内执行条件逻辑。
if 条件
在 action 内执行条件逻辑。
基本语法
awk '{if (<COND>) ...}' <FILE>推荐用法
awk '{if ($3>=500) print $0}' access.log预期结果
输出满足条件记录。关键边界
简单筛选更适合直接写 pattern。
awk '{if (<COND>) ...; else ...}' <FILE>根据条件执行两个分支。
if / else
根据条件执行两个分支。
基本语法
awk '{if (<COND>) ...; else ...}' <FILE>推荐用法
awk '{if ($3>=500) bad++; else ok++} END{print ok,bad}' access.log预期结果
输出 ok/bad 统计。关键边界
多个分支时保持代码可读性。
awk '{if (<COND>) next; ...}' <FILE>立即停止当前记录后续 rule,读取下一条记录。
next 跳过当前记录
立即停止当前记录后续 rule,读取下一条记录。
基本语法
awk '{if (<COND>) next; ...}' <FILE>推荐用法
awk '/^#/ {next} NF {print}' app.conf预期结果
注释行被快速跳过。关键边界
多 rule 程序中 next 会跳过所有后续规则。
awk '{if (<COND>) exit}' <FILE>满足条件后立即停止读取输入。
exit 提前结束
满足条件后立即停止读取输入。
基本语法
awk '{if (<COND>) exit}' <FILE>推荐用法
awk '/READY/{print; exit}' app.log预期结果
只输出第一个 READY 匹配。关键边界
END block 仍会执行。
awk -v name='<VALUE>' '{...}' <FILE>从 Shell 安全地把普通值传给 awk 变量。
通过 -v 传变量
从 Shell 安全地把普通值传给 awk 变量。
基本语法
awk -v name='<VALUE>' '{...}' <FILE>推荐用法
awk -v code=500 '$3==code {print}' access.log预期结果
code 在 awk 中为 500。关键边界
优先 -v,不要把 Shell 变量直接拼进 awk 程序源码。
FILENAME读取当前输入文件名。
获取当前文件名
读取当前输入文件名。
基本语法
FILENAME推荐用法
awk '{print FILENAME, FNR, $0}' a.txt b.txt预期结果
输出文件名、文件内行号和内容。关键边界
stdin 时常见值为 -。
awk:聚合、数组与统计
awk '{sum += $N} END{print sum}' <FILE>累计某个数值字段。
字段求和
累计某个数值字段。
基本语法
awk '{sum += $N} END{print sum}' <FILE>推荐用法
awk '{sum += $2} END{print sum}' data.txt预期结果
输出总和。关键边界
非数字字符串数值上下文通常按 0 处理。
awk '{sum+=$N; n++} END{if(n) print sum/n}' <FILE>计算字段平均值。
字段平均值
计算字段平均值。
基本语法
awk '{sum+=$N; n++} END{if(n) print sum/n}' <FILE>推荐用法
awk '{sum+=$2; n++} END{if(n) print sum/n}' data.txt预期结果
输出平均值。关键边界
务必防止 n=0 除零。
awk 'NR==1{max=$N} $N>max{max=$N} END{print max}' <FILE>寻找最大值。
字段最大值
寻找最大值。
基本语法
awk 'NR==1{max=$N} $N>max{max=$N} END{print max}' <FILE>推荐用法
awk 'NR==1{max=$2} $2>max{max=$2} END{print max}' data.txt预期结果
输出最大字段值。关键边界
若第一行是标题应先跳过,再初始化。
awk 'NR==1{min=$N} $N<min{min=$N} END{print min}' <FILE>寻找最小值。
字段最小值
寻找最小值。
基本语法
awk 'NR==1{min=$N} $N<min{min=$N} END{print min}' <FILE>推荐用法
awk 'NR==1{min=$2} $2<min{min=$2} END{print min}' data.txt预期结果
输出最小字段值。关键边界
不要简单初始化为 0,否则全正数数据会错误。
awk '{count[$N]++} END{for(k in count) print k,count[k]}' <FILE>用关联数组统计分类次数。
按字段计数
用关联数组统计分类次数。
基本语法
awk '{count[$N]++} END{for(k in count) print k,count[k]}' <FILE>推荐用法
awk '{count[$1]++} END{for(k in count) print k,count[k]}' access.log预期结果
输出每个 key 及计数。关键边界
for-in 输出顺序未定义。