命令行与文本处理 / 知识点
grep / sed / awk 文本处理速查手册
grep:正则、上下文与文件范围
grep -r --include='*.ext' '<PATTERN>' <DIR>限制递归搜索的文件名范围。
只搜索指定扩展名
限制递归搜索的文件名范围。
基本语法
grep -r --include='*.ext' '<PATTERN>' <DIR>推荐用法
grep -r --include='*.java' 'TODO' ./src预期结果
只扫描 Java 文件。关键边界
GNU grep 常用;复杂多扩展名可重复使用 --include。
grep -r --exclude='<GLOB>' '<PATTERN>' <DIR>跳过匹配 glob 的文件。
排除指定文件名
跳过匹配 glob 的文件。
基本语法
grep -r --exclude='<GLOB>' '<PATTERN>' <DIR>推荐用法
grep -r --exclude='*.min.js' 'TODO' .预期结果
不扫描压缩后的 min.js。关键边界
适合大代码库。
grep -r --exclude-dir='<DIR>' '<PATTERN>' <ROOT>递归搜索时跳过指定目录。
排除目录
递归搜索时跳过指定目录。
基本语法
grep -r --exclude-dir='<DIR>' '<PATTERN>' <ROOT>推荐用法
grep -r --exclude-dir='.git' --exclude-dir='node_modules' 'TODO' .预期结果
不进入 .git 和 node_modules。关键边界
可重复多个 --exclude-dir。
grep:输出、统计与二进制处理
grep -o '<PATTERN>' <FILE>每次只输出匹配到的文本,而不是整行。
只输出匹配部分
每次只输出匹配到的文本,而不是整行。
基本语法
grep -o '<PATTERN>' <FILE>推荐用法
grep -oE 'https?://[^ ]+' app.log预期结果
每个 URL 单独输出。关键边界
一行多个匹配会输出多行。
grep -c '<PATTERN>' <FILE>统计匹配的行数。
统计匹配行数
统计匹配的行数。
基本语法
grep -c '<PATTERN>' <FILE>推荐用法
grep -c 'ERROR' app.log预期结果
输出一个整数。关键边界
不是匹配次数;一行里命中 5 次仍只计 1 行。
grep -o '<PATTERN>' <FILE> | wc -l统计 pattern 实际出现次数。
统计匹配次数
统计 pattern 实际出现次数。
基本语法
grep -o '<PATTERN>' <FILE> | wc -l推荐用法
grep -o 'ERROR' app.log | wc -l预期结果
输出总匹配次数。关键边界
依赖 -o;跨行模式不适用。
grep -l '<PATTERN>' <FILES...>只列出至少有一个匹配的文件。
只输出匹配文件名
只列出至少有一个匹配的文件。
基本语法
grep -l '<PATTERN>' <FILES...>推荐用法
grep -rl 'TODO' ./src预期结果
每个匹配文件路径一行。关键边界
适合后续批处理。
grep -L '<PATTERN>' <FILES...>列出完全没有匹配的文件。
只输出不匹配文件名
列出完全没有匹配的文件。
基本语法
grep -L '<PATTERN>' <FILES...>推荐用法
grep -rL 'copyright' ./src预期结果
每个不匹配文件路径一行。关键边界
适合检查缺失声明。
grep -m <N> '<PATTERN>' <FILE>每个输入文件找到 N 个匹配后停止。
限制每个文件匹配数
每个输入文件找到 N 个匹配后停止。
基本语法
grep -m <N> '<PATTERN>' <FILE>推荐用法
grep -m 1 'READY' app.log预期结果
每个文件最多输出 1 个匹配。关键边界
大文件找首个事件时很高效。
grep --color=never '<PATTERN>' <FILE>避免 ANSI 颜色码进入脚本输出。
禁用颜色
避免 ANSI 颜色码进入脚本输出。
基本语法
grep --color=never '<PATTERN>' <FILE>推荐用法
grep --color=never 'ERROR' app.log预期结果
输出纯文本。关键边界
CI 和重定向到文件时推荐。
grep -I '<PATTERN>' <FILES...>递归搜索时忽略被识别为二进制的文件。
二进制匹配时只报告
递归搜索时忽略被识别为二进制的文件。
基本语法
grep -I '<PATTERN>' <FILES...>推荐用法
grep -rI 'TODO' .预期结果
仅扫描文本文件。关键边界
代码库搜索非常实用。
sed:替换与输出基础
sed 's/<OLD>/<NEW>/' <FILE>对每行首个匹配执行替换并输出到 stdout。
打印替换结果但不改文件
对每行首个匹配执行替换并输出到 stdout。
基本语法
sed 's/<OLD>/<NEW>/' <FILE>推荐用法
sed 's/http:/https:/' urls.txt预期结果
原文件不变,stdout 显示替换结果。关键边界
默认只替换每行第一个匹配。
sed 's/<OLD>/<NEW>/g' <FILE>替换每行中所有匹配。
每行全部替换
替换每行中所有匹配。
基本语法
sed 's/<OLD>/<NEW>/g' <FILE>推荐用法
sed 's/foo/bar/g' input.txt预期结果
stdout 输出全部替换后的文本。关键边界
g 是当前行 global,不是整个文件范围。
sed -n 's/<OLD>/<NEW>/p' <FILE>关闭默认输出,只打印替换成功的行。
只打印发生替换的行
关闭默认输出,只打印替换成功的行。
基本语法
sed -n 's/<OLD>/<NEW>/p' <FILE>推荐用法
sed -n 's/foo/bar/gp' input.txt预期结果
仅输出实际发生替换的行。关键边界
-n 与 p 常组合。
sed -E 's/<ERE>/<NEW>/' <FILE>使用扩展正则表达式。
sed:使用扩展正则
使用扩展正则表达式。
基本语法
sed -E 's/<ERE>/<NEW>/' <FILE>推荐用法
sed -E 's/(ERROR|WARN)/LOG/' app.log预期结果
stdout 输出替换结果。关键边界
GNU/BSD sed 都常支持 -E,老 GNU sed 也常见 -r;优先 -E。
sed 's#<OLD>#<NEW>#g' <FILE>用非 / 字符作为 s 命令分隔符。
替换分隔符
用非 / 字符作为 s 命令分隔符。
基本语法
sed 's#<OLD>#<NEW>#g' <FILE>推荐用法
sed 's#http://#https://#g' urls.txt预期结果
减少 URL/路径中的转义。关键边界
分隔符可换成多数普通字符。
sed -E 's/(<REGEX>)/\1/' <FILE>在替换文本中通过 \1、\2 引用捕获组。
引用捕获组
在替换文本中通过 \1、\2 引用捕获组。
基本语法
sed -E 's/(<REGEX>)/\1/' <FILE>推荐用法
sed -E 's/^([^=]+)=(.*)$/key=\1 value=\2/' env.txt预期结果
输出重组后的字段。关键边界
扩展正则下括号无需额外反斜杠。
sed 's/<REGEX>/[&]/' <FILE>& 在 replacement 中代表完整匹配文本。
引用完整匹配
& 在 replacement 中代表完整匹配文本。
基本语法
sed 's/<REGEX>/[&]/' <FILE>推荐用法
sed 's/ERROR/[&]/' app.log预期结果
ERROR 被改为 [ERROR]。关键边界
若要输出字面 & 需要转义。
sed -n '<N>p' <FILE>只输出指定行号。
打印指定行
只输出指定行号。
基本语法
sed -n '<N>p' <FILE>推荐用法
sed -n '10p' app.log预期结果
输出第 10 行。关键边界
查看很远的单行时 sed 仍会从头读取。
sed -n '<START>,<END>p' <FILE>输出连续行范围。
打印行号范围
输出连续行范围。
基本语法
sed -n '<START>,<END>p' <FILE>推荐用法
sed -n '20,40p' app.log预期结果
打印 20–40 行。关键边界
适合配合日志定位。