命令行与文本处理 / 知识点
grep / sed / awk 文本处理速查手册
awk:聚合、数组与统计
awk '!seen[$N]++{n++} END{print n}' <FILE>统计字段中不同值的数量。
统计唯一值数量
统计字段中不同值的数量。
基本语法
awk '!seen[$N]++{n++} END{print n}' <FILE>推荐用法
awk '!seen[$1]++{n++} END{print n}' access.log预期结果
输出 unique count。关键边界
需要把所有 key 保存在内存中,大数据需关注内存。
awk '!seen[$0]++' <FILE>按整行去重,保留第一次出现顺序。
去重并保留首次出现顺序
按整行去重,保留第一次出现顺序。
基本语法
awk '!seen[$0]++' <FILE>推荐用法
awk '!seen[$0]++' input.txt预期结果
输出唯一行。关键边界
与 sort -u 不同,它不排序。
awk '!seen[$N]++' <FILE>只保留每个字段值第一次出现的记录。
按字段去重
只保留每个字段值第一次出现的记录。
基本语法
awk '!seen[$N]++' <FILE>推荐用法
awk '!seen[$1]++' users.txt预期结果
输出每个 key 首条记录。关键边界
后续同 key 记录被丢弃。
awk '{sum[$K]+=$V} END{for(k in sum) print k,sum[k]}' <FILE>按 key 分组累计数值。
按字段分组求和
按 key 分组累计数值。
基本语法
awk '{sum[$K]+=$V} END{for(k in sum) print k,sum[k]}' <FILE>推荐用法
awk '{sum[$1]+=$2} END{for(k in sum) print k,sum[k]}' data.txt预期结果
输出每个 key 的总和。关键边界
若需要排序,后续交给 sort。
awk:字符串、数值与函数
length(<STRING>)返回字符串字符长度。
字符串长度
返回字符串字符长度。
基本语法
length(<STRING>)推荐用法
awk '{print length($0), $0}' input.txt预期结果
每行输出长度和原文。关键边界
多字节字符行为依赖 awk 实现和 locale。
substr(<STRING>, <START>, [LEN])按 1 起始索引截取字符串。
截取子串
按 1 起始索引截取字符串。
基本语法
substr(<STRING>, <START>, [LEN])推荐用法
awk '{print substr($1,1,8)}' input.txt预期结果
输出第一字段前 8 个字符。关键边界
awk 索引从 1 开始。
sub(/<REGEX>/, <REPL>, [TARGET])只替换目标中的第一个匹配。
首次替换
只替换目标中的第一个匹配。
基本语法
sub(/<REGEX>/, <REPL>, [TARGET])推荐用法
awk '{sub(/foo/,"bar"); print}' input.txt预期结果
每行首个 foo 变 bar。关键边界
默认 TARGET 是 $0。
gsub(/<REGEX>/, <REPL>, [TARGET])替换目标中的所有匹配。
全部替换
替换目标中的所有匹配。
基本语法
gsub(/<REGEX>/, <REPL>, [TARGET])推荐用法
awk '{gsub(/foo/,"bar"); print}' input.txt预期结果
所有 foo 变 bar。关键边界
会返回替换次数,可用于统计。
split(<STRING>, <ARRAY>, <SEP>)按分隔符把字符串拆入数组。
拆分字符串
按分隔符把字符串拆入数组。
基本语法
split(<STRING>, <ARRAY>, <SEP>)推荐用法
awk '{n=split($1,a,"-"); print a[1],n}' input.txt预期结果
输出第一段和段数。关键边界
数组索引从 1 开始。
tolower(<STRING>)把字符串转换为小写。
转小写
把字符串转换为小写。
基本语法
tolower(<STRING>)推荐用法
awk '{print tolower($1)}' input.txt预期结果
输出小写字段。关键边界
受 locale 影响。
toupper(<STRING>)把字符串转换为大写。
转大写
把字符串转换为大写。
基本语法
toupper(<STRING>)推荐用法
awk '{print toupper($1)}' input.txt预期结果
输出大写字段。关键边界
受 locale 影响。
printf <FORMAT>, <ARGS...>按格式精确控制输出列、宽度、小数位。
格式化输出 printf
按格式精确控制输出列、宽度、小数位。
基本语法
printf <FORMAT>, <ARGS...>推荐用法
awk '{printf "%-20s %8.2f\n", $1, $2}' data.txt预期结果
输出对齐后的表格。关键边界
printf 默认不自动换行。
grep / sed / awk 组合实战
grep ... | awk ...先筛选日志,再提取字段并去重。
提取匹配字段后去重
先筛选日志,再提取字段并去重。
基本语法
grep ... | awk ...推荐用法
grep 'ERROR' app.log | awk '{print $2}' | sort -u预期结果
输出唯一第二字段值。关键边界
grep 负责缩小数据集,awk 负责结构化字段。
awk 分组统计直接用 awk 按日志级别聚合。
统计日志级别数量
直接用 awk 按日志级别聚合。
基本语法
awk 分组统计推荐用法
awk '{count[$2]++} END{for(k in count) print k,count[k]}' app.log | sort预期结果
输出每个级别计数。关键边界
能用一次 awk 完成时不要机械堆 grep | awk | wc。
awk '$9 >= 500 && $9 < 600' <ACCESS_LOG>按标准 combined-like 日志中的状态码字段过滤 5xx。
筛选 5xx 访问日志
按标准 combined-like 日志中的状态码字段过滤 5xx。
基本语法
awk '$9 >= 500 && $9 < 600' <ACCESS_LOG>推荐用法
awk '$9 >= 500 && $9 < 600' access.log预期结果
输出状态码 500–599 的记录。关键边界
字段位置取决于真实日志格式,不能假定所有 access log 都是第 9 列。
awk + sort + uniq统计访问源 IP 次数并降序取 Top 20。
统计访问 IP Top N
统计访问源 IP 次数并降序取 Top 20。
基本语法
awk + sort + uniq推荐用法
awk '{print $1}' access.log | sort | uniq -c | sort -nr | head -20预期结果
输出计数和 IP。关键边界
超大日志需要考虑 sort 的磁盘/内存成本。
sed 或 awk从简单 KEY=VALUE 文件提取指定值。
提取 key=value 的 value
从简单 KEY=VALUE 文件提取指定值。
基本语法
sed 或 awk推荐用法
awk -F= '$1=="PORT" {print $2}' .env预期结果
输出 PORT 对应 value。关键边界
真实 .env 可能有引号、转义、export 等复杂语法,awk 不是完整 dotenv parser。
grep 或 awk快速查看有效配置项。
清理配置空行和注释
快速查看有效配置项。
基本语法
grep 或 awk推荐用法
grep -Ev '^[[:space:]]*(#|$)' app.conf预期结果
输出非空非注释行。关键边界
不会处理行尾注释。
sed 地址 + c按键名定位整行并替换。
批量替换配置值
按键名定位整行并替换。
基本语法
sed 地址 + c推荐用法
sed '/^worker_processes[[:space:]]/c\worker_processes auto;' nginx.conf预期结果
stdout 生成新配置。关键边界
上线修改建议先输出到新文件或使用 -i.bak。
grep -m 1大日志中找到首个匹配后停止。
只取第一个匹配
大日志中找到首个匹配后停止。
基本语法
grep -m 1推荐用法
grep -m 1 'READY' app.log预期结果
只输出第一条 READY。关键边界
比 grep 全文件再 head -1 更早停止读取。