命令行与文本处理 / 知识点
grep / sed / awk 文本处理速查手册
sed:地址范围、删除与插入
sed '<N>d' <FILE>从输出中删除第 N 行。
删除指定行
从输出中删除第 N 行。
基本语法
sed '<N>d' <FILE>推荐用法
sed '5d' input.txt预期结果
stdout 不包含第 5 行。关键边界
默认不修改原文件。
sed '<START>,<END>d' <FILE>删除一段连续行。
删除行号范围
删除一段连续行。
基本语法
sed '<START>,<END>d' <FILE>推荐用法
sed '10,20d' input.txt预期结果
stdout 不含 10–20 行。关键边界
与 -n ...p 是互补思路。
sed '/<PATTERN>/d' <FILE>删除正则匹配的整行。
删除匹配行
删除正则匹配的整行。
基本语法
sed '/<PATTERN>/d' <FILE>推荐用法
sed '/^[[:space:]]*#/d' app.conf预期结果
注释行不再输出。关键边界
不会删除行内局部内容。
sed '/^[[:space:]]*$/d' <FILE>删除空行及只含空白的行。
删除空行
删除空行及只含空白的行。
基本语法
sed '/^[[:space:]]*$/d' <FILE>推荐用法
sed '/^[[:space:]]*$/d' input.txt预期结果
stdout 只保留非空内容。关键边界
比 ^$ 更适合实际配置文件。
sed '/<ADDR>/s/<OLD>/<NEW>/g' <FILE>只有地址正则匹配的行才执行替换。
只在匹配行替换
只有地址正则匹配的行才执行替换。
基本语法
sed '/<ADDR>/s/<OLD>/<NEW>/g' <FILE>推荐用法
sed '/ERROR/s/node-[0-9]\+/node-X/g' app.log预期结果
非 ERROR 行保持不变。关键边界
地址匹配和 s 命令正则是两套条件。
sed '/<PATTERN>/i\<TEXT>' <FILE>在匹配行之前插入文本。
在行前插入文本
在匹配行之前插入文本。
基本语法
sed '/<PATTERN>/i\<TEXT>' <FILE>推荐用法
sed '/server {/i\# generated' nginx.conf预期结果
stdout 多出插入行。关键边界
GNU/BSD sed 对 i 后换行语法细节有差异。
sed '/<PATTERN>/a\<TEXT>' <FILE>在匹配行之后追加文本。
在行后追加文本
在匹配行之后追加文本。
基本语法
sed '/<PATTERN>/a\<TEXT>' <FILE>推荐用法
sed '/server {/a\ # managed' nginx.conf预期结果
stdout 多出追加行。关键边界
跨平台 sed 的换行写法有差异。
sed '/<PATTERN>/c\<TEXT>' <FILE>把匹配行整体替换为新文本。
替换整行
把匹配行整体替换为新文本。
基本语法
sed '/<PATTERN>/c\<TEXT>' <FILE>推荐用法
sed '/^enabled=/c\enabled=true' app.conf预期结果
原行被完整替换。关键边界
适合键值配置重写。
sed '/<START>/,/<END>/...' <FILE>对从 START 匹配到 END 匹配的区间执行命令。
在两个模式之间处理
对从 START 匹配到 END 匹配的区间执行命令。
基本语法
sed '/<START>/,/<END>/...' <FILE>推荐用法
sed -n '/BEGIN/,/END/p' input.txt预期结果
输出每个匹配区间。关键边界
如果 END 永不出现,范围会持续到文件末尾。
sed -n '<N>,$p' <FILE>从第 N 行输出到 EOF。
从指定行到文件末尾
从第 N 行输出到 EOF。
基本语法
sed -n '<N>,$p' <FILE>推荐用法
sed -n '100,$p' app.log预期结果
打印第 100 行至文件末尾。关键边界
$ 在 sed 地址中表示最后一行。
sed:多命令、分组与就地编辑
sed -e '<CMD1>' -e '<CMD2>' <FILE>在一次 sed 流程中顺序执行多个命令。
一次执行多个 sed 命令
在一次 sed 流程中顺序执行多个命令。
基本语法
sed -e '<CMD1>' -e '<CMD2>' <FILE>推荐用法
sed -e 's/foo/bar/g' -e '/^#/d' input.txt预期结果
先替换,再删除注释行。关键边界
命令顺序会影响最终结果。
sed -f <SCRIPT> <FILE>把复杂 sed 程序放进文件。
使用 sed 脚本文件
把复杂 sed 程序放进文件。
基本语法
sed -f <SCRIPT> <FILE>推荐用法
sed -f cleanup.sed input.txt预期结果
按脚本顺序处理输入。关键边界
规则超过几条时比超长 one-liner 可维护。
sed -i 's/<OLD>/<NEW>/g' <FILE>直接修改文件内容。
就地修改文件(GNU)
直接修改文件内容。
基本语法
sed -i 's/<OLD>/<NEW>/g' <FILE>推荐用法
sed -i 's/foo/bar/g' app.conf预期结果
app.conf 被覆盖为替换后的内容。关键边界
GNU sed 可用裸 -i;BSD/macOS 通常要求 -i '',跨平台脚本不要混用。
sed -i'<SUFFIX>' 's/<OLD>/<NEW>/g' <FILE>修改原文件前保留备份副本。
就地修改并保留备份
修改原文件前保留备份副本。
基本语法
sed -i'<SUFFIX>' 's/<OLD>/<NEW>/g' <FILE>推荐用法
sed -i.bak 's/foo/bar/g' app.conf预期结果
生成 app.conf.bak 和新 app.conf。关键边界
生产配置修改优先保留备份。
sed '/<PATTERN>/{ <CMD1>; <CMD2>; }' <FILE>把多个命令限定在同一地址条件下执行。
分组对同一地址执行多命令
把多个命令限定在同一地址条件下执行。
基本语法
sed '/<PATTERN>/{ <CMD1>; <CMD2>; }' <FILE>推荐用法
sed '/ERROR/{s/foo/bar/g;p}' app.log预期结果
只对 ERROR 行执行组内命令。关键边界
复杂分组建议写成 sed 脚本文件。
awk:字段、记录与基础匹配
awk '{print}' <FILE>对每条记录打印整行。
打印整行
对每条记录打印整行。
基本语法
awk '{print}' <FILE>推荐用法
awk '{print}' input.txt预期结果
原样输出输入。关键边界
$0 也表示整行。
awk '{print $N}' <FILE>按默认空白分隔打印第 N 个字段。
打印指定字段
按默认空白分隔打印第 N 个字段。
基本语法
awk '{print $N}' <FILE>推荐用法
awk '{print $1}' access.log预期结果
输出每行第一字段。关键边界
默认 FS 是空白规则,不等价于单个空格字符。
awk -F'<SEP>' '{...}' <FILE>显式设置字段分隔符 FS。
指定输入分隔符
显式设置字段分隔符 FS。
基本语法
awk -F'<SEP>' '{...}' <FILE>推荐用法
awk -F: '{print $1}' /etc/passwd预期结果
输出 passwd 用户名。关键边界
-F 后是正则表达式。
awk 'BEGIN{OFS="<SEP>"} {...}' <FILE>控制多参数 print 的输出分隔符。
指定输出分隔符
控制多参数 print 的输出分隔符。
基本语法
awk 'BEGIN{OFS="<SEP>"} {...}' <FILE>推荐用法
awk -F, 'BEGIN{OFS="\t"} {print $1,$3}' data.csv预期结果
第一和第三字段以 Tab 分隔。关键边界
OFS 不会自动重写原 $0,除非重新构造记录。
awk '{print NR, $0}' <FILE>使用 NR 输出全局记录号。
打印行号
使用 NR 输出全局记录号。
基本语法
awk '{print NR, $0}' <FILE>推荐用法
awk '{print NR, $0}' app.log预期结果
每行前带递增行号。关键边界
多文件时 NR 跨文件累计。