可观测性与稳定性 / 系统课时
解析失败的日志应该怎么办
解析失败的日志应该怎么办
日志解析失败时,最危险的处理不是“字段没拆出来”,而是直接丢弃事件。更稳妥的做法是让失败日志继续进入存储:保留原始 message,增加可检索的失败标记,并把它与正常日志区分开,方便后续定位规则问题和重新解析。
学习目标
- 解释为什么解析失败的日志仍然具有排障价值
- 使用失败标签保留原始日志并标记解析状态
- 建立“发现失败、定位原因、修正规则、重新验证”的处理顺序
失败日志为什么不能直接丢弃
解析器面对的是不断变化的真实日志。应用升级、异常堆栈、第三方组件输出、字段缺失或格式漂移,都可能让原本有效的 Grok、正则或 JSON 解析规则突然失配。如果失败事件被丢弃,真正需要排查的那批异常日志反而最容易消失。
因此要把“采集成功”和“解析成功”视为两件事。采集层先保证事件进入日志链路;解析层再尽量提取结构化字段。解析失败时,至少保留原始 message、采集时间、来源信息和失败原因。以 Logstash Grok 为例,匹配失败可以通过 tag_on_failure 给事件追加标签,而不是自动删除事件。

用失败标签保留排查依据
下面用一个最小 Logstash 配置验证处理方式。它从标准输入读取两行日志:符合格式的日志会提取字段;不符合格式的日志会得到 parse_failure 标签和 parse_error 字段。原始 message 在两种情况下都保留。
将下面配置保存为 <PATH>/parse-test.conf。这是完整测试配置,<PATH> 替换为实际目录。
input {
stdin { }
}
filter {
grok {
match => {
"message" => "%{TIMESTAMP_ISO8601:event_time} %{LOGLEVEL:log_level} %{WORD:service} - %{GREEDYDATA:parsed_message}"
}
tag_on_failure => ["parse_failure"]
}
if "parse_failure" in [tags] {
mutate {
add_field => { "parse_error" => "grok_no_match" }
}
}
mutate {
remove_field => ["@timestamp", "@version", "host", "event"]
}
}
output {
stdout { codec => json_lines }
}该配置不会覆盖 message:匹配成功时只增加结构化字段,匹配失败时增加标签和错误字段。先检查配置语法:
bin/logstash --config.test_and_exit -f <PATH>/parse-test.conf预期输出的关键结果如下;实际启动日志中的时间和路径可能不同:
Configuration OK再输入一条可解析日志和一条故意破坏格式的日志:
printf '%s\n' '2026-09-17T04:20:00Z ERROR orders - payment timeout' 'BROKEN LINE' | bin/logstash --log.level error -f <PATH>/parse-test.conf预期输出包含两个 JSON 事件,字段顺序可能不同:
{"message":"2026-09-17T04:20:00Z ERROR orders - payment timeout","event_time":"2026-09-17T04:20:00Z","log_level":"ERROR","service":"orders","parsed_message":"payment timeout"}
{"message":"BROKEN LINE","tags":["parse_failure"],"parse_error":"grok_no_match"}这里最重要的不是失败标签本身,而是第二条事件仍然存在,且 message 仍保存着 BROKEN LINE。这样才能回看原文,判断是日志格式变了、规则写错了,还是出现了从未覆盖的新类型。
失败日志应该怎样进入后续流程
生产环境通常需要把失败事件与正常事件分开观察,但不必因此把它们完全隔离到不可搜索的位置。常见做法是让正常日志进入主索引,同时根据 parse_failure 标签把失败日志复制或路由到专用索引,并对失败率建立监控。
排查时优先看失败样本,而不是立刻扩大正则。先比较成功与失败日志的原始 message,确认具体从哪个字段、分隔符或日期格式开始变化;再修改规则,并用历史失败样本回放验证。这样可以避免为了兼容一条异常日志,把规则改得过宽,导致错误字段被“成功”解析。
判断处理方案是否合格
一个可上线的失败处理方案至少应满足三点:失败事件可检索、原始 message 未被覆盖、失败原因可聚合统计。进一步还可以按服务、采集源或规则版本统计失败率,帮助判断问题来自单个应用还是整个解析规则。
当规则修复后,应重新使用之前的失败样本验证。只要同一条原始日志能够从 parse_failure 状态转为稳定的结构化字段,同时正常日志没有新增误解析,就说明修复方向正确。