命令行与文本处理 / 系统课时
多个文本命令怎样组合
多个文本命令怎样组合
单个文本命令往往只解决一步问题:grep 负责筛选,awk 提取字段,sort 排序,uniq 计数,head 截取结果。把这些工具通过管道连接起来,就能直接从日志生成错误来源排行等运维结果。
学习目标
- 理解 Shell 管道如何把前一个命令的输出交给下一个命令
- 组合
grep、awk、sort、uniq和head完成统计任务 - 根据中间数据形态定位文本处理管道中的错误
管道按阶段缩小数据
Shell 中的 | 会把左侧命令的标准输出连接到右侧命令的标准输入。设计一条文本处理管道时,可以把任务拆成连续的小问题:先留下需要的行,再提取统计字段,然后把相同值排到一起,最后计数和排序。
这种组合方式的优势是每个命令职责单一。出现结果异常时,也可以从左到右逐段运行,观察哪一步开始偏离预期,而不必一次调试一条难以阅读的大命令。
生成错误来源排行
下面的日志中,第二列是级别,第三列是服务来源。目标是统计 ERROR 日志分别来自哪些服务,并输出错误次数最多的前三个来源。
cat > /tmp/pipeline.log <<'EOF'
09:00:01 ERROR api timeout
09:00:02 INFO api request_ok
09:00:03 ERROR worker job_failed
09:00:04 ERROR api bad_gateway
09:00:05 ERROR db connection_lost
09:00:06 ERROR worker retry_exhausted
09:00:07 ERROR api upstream_reset
EOF
grep ' ERROR ' /tmp/pipeline.log \
| awk '{print $3}' \
| sort \
| uniq -c \
| sort -k1,1nr -k2,2 \
| head -n 3 \
| awk '{print $1, $2}'预期输出
3 api
2 worker
1 db第一段 grep 只留下错误记录;第一个 awk 把整行缩减为服务名。此时数据变成一列文本,后面的工具不再需要理解原始日志结构。
为什么 uniq 前通常要先排序
uniq -c 只统计连续出现的相同行,并不会自动在整个输入中寻找相同值。因此在统计离散文本前,通常先使用 sort 把相同内容排列到一起。
第一次 sort 服务于分组,uniq -c 得到“次数 + 服务名”,第二次 sort -k1,1nr -k2,2 则按照第一列数字降序排列;当次数相同时,再按第二列服务名排序。head -n 3 最后只保留前三项。
从中间结果定位问题
管道输出不正确时,不要立刻修改整条命令。可以先运行 grep,确认筛选条件是否误匹配;再追加 awk,确认目标字段位置;之后检查第一次 sort 和 uniq -c 的输出,最后再加入排行逻辑。
真实日志如果字段中包含空格,例如消息正文或带引号的请求内容,固定使用 $3 可能提取到错误数据。此时应根据日志格式选择可靠的分隔符,或者先把原始数据转换成字段明确的格式。
文本管道最适合“输入一批文本,逐步筛选、转换、聚合,再输出少量结果”的任务。每一段都保持简单且能够单独验证,比把所有逻辑塞进一个复杂命令更容易维护,也更适合写进自动化脚本。