命令行与文本处理 / 系统课时
日志字段提取
日志字段提取
学习目标
- 设计稳定的日志行模式。
- 使用命名组提取时间、级别、线程和追踪标识。
- 处理无法解析的异常行。
- 将提取结果转换为结构化数据。
问题背景或应用场景
应用日志通常包含固定前缀和自由消息,例如时间、日志级别、线程、traceId 与消息。把这些字段提取为字典后,可以用于统计、告警和导入分析系统。
核心原理
- 稳定字段应使用明确字符范围和固定分隔符。
- 命名捕获组使字段含义直接可见。
- 自由消息字段通常放在模式末尾。
- 解析失败的日志不能静默丢弃。
- 日志格式由应用控制时,应优先推动结构化 JSON 日志。
本课示例处理固定格式:时间、级别、方括号线程、traceId 和消息。任何字段缺失都会被识别为无法解析。
基础用法
本课涉及的核心写法如下:
text
(?P<time>...)
(?P<level>INFO|WARN|ERROR)
\[(?P<thread>[^]]+)\]
trace=(?P<trace>[A-Za-z0-9-]+)消息字段可能包含空格和标点,因此放在最后并使用剩余文本匹配。若字段顺序不稳定,建议改用 JSON 日志。
完整可运行示例
将代码保存为:
text
log_extract.pypython
import json
import re
pattern = re.compile(
r"(?P<time>[0-9]{4}-[0-9]{2}-[0-9]{2}T[0-9]{2}:[0-9]{2}:[0-9]{2}) "
r"(?P<level>INFO|WARN|ERROR) "
r"\[(?P<thread>[^]]+)\] "
r"trace=(?P<trace>[A-Za-z0-9-]+) "
r"(?P<message>.+)"
)
lines = [
"2026-07-25T10:15:30 INFO [http-1] trace=abc-123 service started",
"2026-07-25T10:16:00 ERROR [http-2] trace=def-456 database timeout",
"invalid log line",
]
for line in lines:
match = pattern.fullmatch(line)
if match:
print(json.dumps(match.groupdict(), ensure_ascii=False, sort_keys=True))
else:
print(f"无法解析:{line}")运行命令:
bash
python log_extract.py预期输出
text
{"level": "INFO", "message": "service started", "thread": "http-1", "time": "2026-07-25T10:15:30", "trace": "abc-123"}
{"level": "ERROR", "message": "database timeout", "thread": "http-2", "time": "2026-07-25T10:16:00", "trace": "def-456"}
无法解析:invalid log lineTips
- 自由消息字段放在末尾。
- 解析失败记录应保留并统计。
- 日志格式变化要同步更新测试。
- 可控系统优先输出结构化 JSON 日志。
常见错误
1. 消息字段放在中间且过于宽泛
任意字符可能吞掉后续固定字段。
2. 静默忽略无法解析行
这会隐藏格式变化和数据损失。
3. 使用不稳定的空格数量
格式允许不定空白时,应明确使用空白规则。
本课练习
- 增加模块名字段并提取。
- 为 WARN 日志准备样例。
- 统计成功与失败解析数量。
- 把提取字典序列化为 JSON。
按自己的节奏,确认真正理解。