Linux 与服务器运维 / 系统课时
用 grep 提取关键日志行
用 grep 提取关键日志行
grep 适合把大量日志压缩成与问题直接相关的行。关键不是记住更多选项,而是先确定要匹配固定文本还是模式,再按需要补充行号、上下文和多条件过滤。这样可以为统计、告警和后续脚本提供更干净的输入。
学习目标
- 根据日志内容选择固定字符串或正则表达式匹配
- 使用行号、忽略大小写和上下文选项保留排障所需信息
- 通过管道组合过滤条件,并正确判断没有匹配结果的情况
固定文本优先使用固定字符串匹配
如果目标就是日志中的字面文本,例如 Connection timeout,优先使用 grep -F。固定字符串不解释正则元字符,表达更直接,也避免日志中 .、[、* 等字符被误当成正则语法。
下面创建一份最小日志并提取超时记录:
logfile="$(mktemp)"
cat > "$logfile" <<'EOF'
2026-09-14T10:00:01 INFO service started
2026-09-14T10:00:05 ERROR Connection timeout upstream=payment
2026-09-14T10:00:08 INFO retry succeeded
EOF
grep -nF 'Connection timeout' "$logfile"预期输出:
2:2026-09-14T10:00:05 ERROR Connection timeout upstream=payment-F 表示固定字符串匹配,-n 在输出前附加行号。排查单个文件时,行号可以帮助继续查看原始日志;批量扫描多个文件时,则可以额外保留文件名定位来源。
用正则提取一类事件
当目标不是一个固定词,而是一组结构相似的内容时,再使用正则。例如同时匹配 ERROR 和 WARN 两个日志级别,可以使用扩展正则 -E:
logfile="$(mktemp)"
cat > "$logfile" <<'EOF'
INFO request accepted
WARN latency=860ms path=/checkout
ERROR status=503 path=/payment
INFO request finished
EOF
grep -nE '^(WARN|ERROR) ' "$logfile"预期输出:
2:WARN latency=860ms path=/checkout
3:ERROR status=503 path=/payment这里的 ^ 限定日志级别必须出现在行首,(WARN|ERROR) 表示二选一。相比直接搜索 WARN|ERROR 的字面文本,-E 明确告诉 grep 按扩展正则处理表达式。
保留错误前后的上下文
单独看到一行 ERROR 往往不足以定位问题。grep 可以用 -B 显示匹配前若干行、-A 显示匹配后若干行,或者用 -C 同时显示前后上下文。
logfile="$(mktemp)"
cat > "$logfile" <<'EOF'
request id=42 begin
calling payment service
ERROR status=503
retry scheduled
request id=42 end
EOF
grep -nC 1 'ERROR' "$logfile"预期输出:
2-calling payment service
3:ERROR status=503
4-retry scheduled匹配行使用冒号分隔行号和内容,上下文行通常使用连字符分隔。实际排障时可以先用较小的上下文范围,例如 -C 2,避免一次输出过多无关内容。
用管道逐层缩小结果
当日志同时包含多种服务或请求,可以把每个过滤条件拆成一层管道。下面先筛选错误,再限定支付服务:
logfile="$(mktemp)"
cat > "$logfile" <<'EOF'
ERROR service=payment status=503
ERROR service=inventory status=500
WARN service=payment latency=900ms
ERROR service=payment status=504
EOF
grep -F 'ERROR' "$logfile" | grep -F 'service=payment'预期输出:
ERROR service=payment status=503
ERROR service=payment status=504这种写法容易阅读,适合交互式排查。若规则固定并长期放在脚本里,也可以合并成更明确的一条正则,但不要为了减少一个进程把条件写得难以维护。
把无匹配当成一种正常结果
grep 的退出码对自动化脚本很重要:找到匹配内容返回 0,没有匹配返回 1,真正的执行错误通常返回大于 1 的值。因此“没有发现 ERROR”不应该和“日志文件不存在”被当成同一种情况。
logfile="$(mktemp)"
printf '%s\n' 'INFO all services healthy' > "$logfile"
if grep -qF 'ERROR' "$logfile"; then
echo '发现错误日志'
else
status=$?
if [ "$status" -eq 1 ]; then
echo '未发现错误日志'
else
echo "grep 执行失败,退出码=$status" >&2
exit "$status"
fi
fi预期输出:
未发现错误日志-q 只关心是否存在匹配,不输出正文,适合条件判断。真正需要把匹配行交给后续统计时,则不要使用 -q,而是保留标准输出继续通过管道处理。
在自动化运维中,可以把 grep 理解为日志处理链的第一层过滤器:先用尽可能明确的匹配规则得到可信的小集合,再把结果交给 sort、uniq、awk 或告警逻辑。