Linux 与服务器运维 / 系统课时

排序去重与统计

排序去重与统计

面对日志、名单或命令输出时,经常需要先把内容排好顺序,再消除重复项,最后统计行数或词数。本节用 sort、uniq 和 wc 组成一条可复用的文本处理链,并说明它们各自的边界。

学习目标

  • 能用 sort 控制文本排序,并理解字典序、数值排序和倒序的区别。
  • 能正确使用 uniq 去重或计数,知道它只处理相邻重复行。
  • 能用 wc 统计行数、词数和字节数,并组合三条命令完成实际任务。

排序、去重与统计的配合关系

sort 按行读取文本并重新排序。默认排序受当前 locale 影响;需要稳定、可复现的英文字符顺序时,可以临时设置 LC_ALL=C。常用选项包括 -n 按数值排序、-r 倒序、-k 指定排序字段,以及 -u 在排序时直接删除重复行。

uniq 的关键限制是:它只合并相邻的重复行。因此原始数据如果没有预先排序,同一个值分散在不同位置时就不会被完全去重。最常见的组合是 sort file | uniq;需要统计每个值出现次数时,可以改用 uniq -c。

wc 用于计数。wc -l 统计换行符数量,wc -w 统计词数,wc -c 统计字节数。把它接在管道末尾,就能统计筛选、排序或去重后的结果,而不必生成中间文件。

用一条处理链完成名单统计

下面构造一个包含重复姓名的文件,先排序去重,再统计唯一姓名数量和原始总行数。示例显式设置 LC_ALL=C,避免不同系统语言环境导致排序次序不同。

bash
printf '%s\n' alice bob alice carol bob bob > names.txt
echo '去重结果:'
LC_ALL=C sort names.txt | uniq
echo '唯一值数量:'
LC_ALL=C sort names.txt | uniq | wc -l
echo '总行数:'
wc -l < names.txt

预期输出

text
去重结果:
alice
bob
carol
唯一值数量:
3
总行数:
6

这个流程中,sort 负责把相同姓名聚到一起,uniq 才能完整消除相邻重复行,最后的 wc -l 对去重后的输出计数。wc -l < names.txt 使用输入重定向,因此只输出数字,不附带文件名。

常用选项怎么选

如果数据是数字,例如 2、10、100,应使用 sort -n,否则默认字典序可能把 10 排在 2 前面。需要按某一列排序时,可以结合字段分隔规则使用 sort -k;只想得到唯一行而不关心重复次数时,sort -u 通常比 sort | uniq 更直接。

需要查看重复频率时,先排序再使用 uniq -c;如果还想让高频项排在前面,可继续把计数结果交给 sort -nr。这类管道的阅读顺序始终从左到右:前一条命令产生数据,后一条命令消费并进一步处理。

容易踩坑的边界

不要直接对未排序数据执行 uniq 并期待全局去重。另一个常见误区是把 wc -l 理解为“肉眼看到的行数”:它实际统计换行符,如果文件最后一行没有结尾换行符,结果可能比预期少一。

当任务只是对文本行做排序、去重和数量统计时,这三条命令已经足够高效。先确认输入是否需要排序,再决定使用 uniq、uniq -c 或 sort -u,最后把 wc 放在真正需要统计的位置即可。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

排序去重与统计

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通