命令行与文本处理 / 系统课时

用 awk 按列提取数据

用 awk 按列提取数据

命令行输出通常是“多行记录 + 多列字段”。awk 可以逐行读取 ps、df 和日志,把需要的列筛出来,再交给后续命令处理。本节重点掌握默认空白分列、指定字段和条件过滤。

学习目标

  • 使用 $1、$2 等字段变量提取指定列
  • 从 ps、df 和日志中保留需要的数据
  • 正确使用分隔符与条件表达式,避免 Shell 提前展开字段变量

awk 如何看待一行文本

awk 默认把连续空格或制表符当作字段分隔符,当前整行是 $0,第一列到第 N 列分别是 $1 到 $N,字段总数可用 NF 取得。通常把 awk 程序放在单引号中,防止 Shell 把 $1 当成脚本自身的位置参数。

先从进程列表中取出 PID 和命令名:

bash
ps -eo pid=,comm= | awk 'NR <= 3 {print $1, $2}'

预期输出

text
<ID> <PROCESS>
<ID> <PROCESS>
<ID> <PROCESS>

NR 是当前记录编号。这里限制为前三行,实际 <ID> 和 <PROCESS> 会随系统当前进程变化。

从 df 提取磁盘字段

df -P 使用较稳定的 POSIX 输出格式。根文件系统这一行中,第 5 列通常是使用率,第 6 列是挂载点,可以直接拼成便于后续读取的文本:

bash
df -P / | awk 'NR == 2 {print "used=" $5 ", mount=" $6}'

预期输出

text
used=<PERCENT>, mount=/

实际 <PERCENT> 会随磁盘占用变化。处理真实命令输出时,不要仅凭“看起来对齐”判断列号;先观察标题和一两行样本,再确认目标字段的位置。

从日志中选择列

日志只要格式稳定,也可以按字段提取。下面创建三条简化的访问日志,然后输出客户端 IP、请求路径和 HTTP 状态码:

bash
cat > access.log <<'EOF'
10.0.0.8 - - [16/Sep/2026:09:20:00 +0800] "GET /health HTTP/1.1" 200 12
10.0.0.9 - - [16/Sep/2026:09:20:03 +0800] "GET /orders HTTP/1.1" 500 91
10.0.0.8 - - [16/Sep/2026:09:20:05 +0800] "POST /orders HTTP/1.1" 201 37
EOF

awk '{print $1, $7, $9}' access.log

预期输出

text
10.0.0.8 /health 200
10.0.0.9 /orders 500
10.0.0.8 /orders 201

这里依赖的是这份日志的固定空白分列格式。如果字段本身可能包含空格、引号或转义字符,简单的列号方案可能不可靠,应优先使用明确的结构化日志格式。

指定分隔符并做条件过滤

当数据不是按空白分隔时,可以用 -F 指定分隔符。例如冒号分隔的数据可写成 awk -F: '{print $1}'。条件可以放在动作前,只让满足条件的记录进入输出。

以下命令只保留状态码为 500 的访问记录:

bash
awk '$9 == 500 {print $1, $7, $9}' access.log

预期输出

text
10.0.0.9 /orders 500

这种“先按列解析,再按条件筛选”的方式特别适合 Shell 自动化:前面的命令负责产生数据,awk 负责缩减成真正需要的字段,后续再交给排序、统计、告警或批处理逻辑。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用 awk 按列提取数据

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通