Linux 与服务器运维 / 系统课时

用 sort、uniq 和 wc 做简单统计

用 sort、uniq 和 wc 做简单统计

面对访问日志、主机清单或普通文本时,经常需要回答“有多少行”“哪些值重复”“哪个值出现最多”。sort、uniq 和 wc 可以通过管道组合完成这类轻量统计,不需要先写脚本。

学习目标

  • 理解 sort、uniq、wc 在统计链路中的分工
  • 使用管道统计文本中不同值的出现次数
  • 判断什么时候必须先排序,再使用 uniq

三个命令各做什么

sort 按行排序文本,使相同内容排列到一起;uniq 处理相邻的重复行;wc 统计行数、单词数或字节数。三者组合时,关键不是记住命令,而是理解数据怎样沿管道逐步变化。

例如 uniq -c 只会统计连续重复的行。如果相同内容散落在文件不同位置,直接执行 uniq -c 会得到错误的频次,因此通常先执行 sort。

常用形式包括:wc -l 统计行数,sort | uniq 得到不重复值,sort | uniq -c 得到每个值的出现次数,再用 sort -nr 按次数从大到小排列。

完成一次频次统计

下面创建一个简单的 IP 列表,再统计每个 IP 出现了多少次,并统计原文件总行数。

bash
cat > /tmp/access-ip.txt <<'EOF'
10.0.0.2
10.0.0.1
10.0.0.2
10.0.0.3
10.0.0.2
10.0.0.1
EOF

sort /tmp/access-ip.txt | uniq -c | sort -nr
wc -l /tmp/access-ip.txt

预期输出

text
      3 10.0.0.2
      2 10.0.0.1
      1 10.0.0.3
6 /tmp/access-ip.txt

uniq -c 输出中的计数列通常会带前导空格,这是正常的格式化结果。第一条管道先把相同 IP 聚到一起,再计数,最后按数字倒序排列,因此可以直接看出访问次数最多的值。

管道中的执行顺序

对于频次统计,可以把处理过程理解为:原始文本先进入 sort,排序结果通过 | 交给 uniq -c,计数结果再交给 sort -nr。每个命令只完成一个明确任务,后一个命令读取前一个命令的标准输出。

sort -n 表示按数字比较,-r 表示倒序。如果省略 -n,计数可能按字符顺序比较,在两位数、三位数计数混合时就可能得到不符合数值大小的排序结果。

去重数量和总行数不是一回事

wc -l file 回答的是“文件一共有多少行”;而 sort file | uniq | wc -l 回答的是“去重后有多少种不同内容”。这两个指标在日志分析中经常同时出现,但含义不同。

例如原文件有 6 行、只有 3 个不同 IP,那么总行数是 6,唯一 IP 数量是 3。需要统计频次时使用 uniq -c;只关心种类数时,再把去重后的结果交给 wc -l 即可。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用 sort、uniq 和 wc 做简单统计

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通