Linux 与服务器运维 / 系统课时
用 sort、uniq 和 wc 做简单统计
用 sort、uniq 和 wc 做简单统计
面对访问日志、主机清单或普通文本时,经常需要回答“有多少行”“哪些值重复”“哪个值出现最多”。sort、uniq 和 wc 可以通过管道组合完成这类轻量统计,不需要先写脚本。
学习目标
- 理解
sort、uniq、wc在统计链路中的分工 - 使用管道统计文本中不同值的出现次数
- 判断什么时候必须先排序,再使用
uniq
三个命令各做什么
sort 按行排序文本,使相同内容排列到一起;uniq 处理相邻的重复行;wc 统计行数、单词数或字节数。三者组合时,关键不是记住命令,而是理解数据怎样沿管道逐步变化。
例如 uniq -c 只会统计连续重复的行。如果相同内容散落在文件不同位置,直接执行 uniq -c 会得到错误的频次,因此通常先执行 sort。
常用形式包括:wc -l 统计行数,sort | uniq 得到不重复值,sort | uniq -c 得到每个值的出现次数,再用 sort -nr 按次数从大到小排列。
完成一次频次统计
下面创建一个简单的 IP 列表,再统计每个 IP 出现了多少次,并统计原文件总行数。
cat > /tmp/access-ip.txt <<'EOF'
10.0.0.2
10.0.0.1
10.0.0.2
10.0.0.3
10.0.0.2
10.0.0.1
EOF
sort /tmp/access-ip.txt | uniq -c | sort -nr
wc -l /tmp/access-ip.txt预期输出
3 10.0.0.2
2 10.0.0.1
1 10.0.0.3
6 /tmp/access-ip.txtuniq -c 输出中的计数列通常会带前导空格,这是正常的格式化结果。第一条管道先把相同 IP 聚到一起,再计数,最后按数字倒序排列,因此可以直接看出访问次数最多的值。
管道中的执行顺序
对于频次统计,可以把处理过程理解为:原始文本先进入 sort,排序结果通过 | 交给 uniq -c,计数结果再交给 sort -nr。每个命令只完成一个明确任务,后一个命令读取前一个命令的标准输出。
sort -n 表示按数字比较,-r 表示倒序。如果省略 -n,计数可能按字符顺序比较,在两位数、三位数计数混合时就可能得到不符合数值大小的排序结果。
去重数量和总行数不是一回事
wc -l file 回答的是“文件一共有多少行”;而 sort file | uniq | wc -l 回答的是“去重后有多少种不同内容”。这两个指标在日志分析中经常同时出现,但含义不同。
例如原文件有 6 行、只有 3 个不同 IP,那么总行数是 6,唯一 IP 数量是 3。需要统计频次时使用 uniq -c;只关心种类数时,再把去重后的结果交给 wc -l 即可。