Linux 与服务器运维 / 系统课时

用 grep 提取关键日志行

用 grep 提取关键日志行

grep 适合把大量日志压缩成与问题直接相关的行。关键不是记住更多选项,而是先确定要匹配固定文本还是模式,再按需要补充行号、上下文和多条件过滤。这样可以为统计、告警和后续脚本提供更干净的输入。

学习目标

  • 根据日志内容选择固定字符串或正则表达式匹配
  • 使用行号、忽略大小写和上下文选项保留排障所需信息
  • 通过管道组合过滤条件,并正确判断没有匹配结果的情况

固定文本优先使用固定字符串匹配

如果目标就是日志中的字面文本,例如 Connection timeout,优先使用 grep -F。固定字符串不解释正则元字符,表达更直接,也避免日志中 .、[、* 等字符被误当成正则语法。

下面创建一份最小日志并提取超时记录:

bash
logfile="$(mktemp)"
cat > "$logfile" <<'EOF'
2026-09-14T10:00:01 INFO service started
2026-09-14T10:00:05 ERROR Connection timeout upstream=payment
2026-09-14T10:00:08 INFO retry succeeded
EOF

grep -nF 'Connection timeout' "$logfile"

预期输出:

text
2:2026-09-14T10:00:05 ERROR Connection timeout upstream=payment

-F 表示固定字符串匹配,-n 在输出前附加行号。排查单个文件时,行号可以帮助继续查看原始日志;批量扫描多个文件时,则可以额外保留文件名定位来源。

用正则提取一类事件

当目标不是一个固定词,而是一组结构相似的内容时,再使用正则。例如同时匹配 ERROR 和 WARN 两个日志级别,可以使用扩展正则 -E:

bash
logfile="$(mktemp)"
cat > "$logfile" <<'EOF'
INFO request accepted
WARN latency=860ms path=/checkout
ERROR status=503 path=/payment
INFO request finished
EOF

grep -nE '^(WARN|ERROR) ' "$logfile"

预期输出:

text
2:WARN latency=860ms path=/checkout
3:ERROR status=503 path=/payment

这里的 ^ 限定日志级别必须出现在行首,(WARN|ERROR) 表示二选一。相比直接搜索 WARN|ERROR 的字面文本,-E 明确告诉 grep 按扩展正则处理表达式。

保留错误前后的上下文

单独看到一行 ERROR 往往不足以定位问题。grep 可以用 -B 显示匹配前若干行、-A 显示匹配后若干行,或者用 -C 同时显示前后上下文。

bash
logfile="$(mktemp)"
cat > "$logfile" <<'EOF'
request id=42 begin
calling payment service
ERROR status=503
retry scheduled
request id=42 end
EOF

grep -nC 1 'ERROR' "$logfile"

预期输出:

text
2-calling payment service
3:ERROR status=503
4-retry scheduled

匹配行使用冒号分隔行号和内容,上下文行通常使用连字符分隔。实际排障时可以先用较小的上下文范围,例如 -C 2,避免一次输出过多无关内容。

用管道逐层缩小结果

当日志同时包含多种服务或请求,可以把每个过滤条件拆成一层管道。下面先筛选错误,再限定支付服务:

bash
logfile="$(mktemp)"
cat > "$logfile" <<'EOF'
ERROR service=payment status=503
ERROR service=inventory status=500
WARN service=payment latency=900ms
ERROR service=payment status=504
EOF

grep -F 'ERROR' "$logfile" | grep -F 'service=payment'

预期输出:

text
ERROR service=payment status=503
ERROR service=payment status=504

这种写法容易阅读,适合交互式排查。若规则固定并长期放在脚本里,也可以合并成更明确的一条正则,但不要为了减少一个进程把条件写得难以维护。

把无匹配当成一种正常结果

grep 的退出码对自动化脚本很重要:找到匹配内容返回 0,没有匹配返回 1,真正的执行错误通常返回大于 1 的值。因此“没有发现 ERROR”不应该和“日志文件不存在”被当成同一种情况。

bash
logfile="$(mktemp)"
printf '%s\n' 'INFO all services healthy' > "$logfile"

if grep -qF 'ERROR' "$logfile"; then
  echo '发现错误日志'
else
  status=$?
  if [ "$status" -eq 1 ]; then
    echo '未发现错误日志'
  else
    echo "grep 执行失败,退出码=$status" >&2
    exit "$status"
  fi
fi

预期输出:

text
未发现错误日志

-q 只关心是否存在匹配,不输出正文,适合条件判断。真正需要把匹配行交给后续统计时,则不要使用 -q,而是保留标准输出继续通过管道处理。

在自动化运维中,可以把 grep 理解为日志处理链的第一层过滤器:先用尽可能明确的匹配规则得到可信的小集合,再把结果交给 sort、uniq、awk 或告警逻辑。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用 grep 提取关键日志行

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通