可观测性与稳定性 / 系统课时
怎样从 5xx 找到异常堆栈
怎样从 5xx 找到异常堆栈
线上看到 5xx 只是现象,真正定位要把“失败请求”与“应用异常”关联起来。本节用请求时间、URI 和 Request ID 逐步缩小范围,最终找到同一次请求对应的异常类型、错误消息和堆栈,并处理多实例、时钟偏差和多行堆栈带来的干扰。
学习目标
- 能从 5xx 日志中提取时间、URI 与 Request ID,并据此追踪同一次请求
- 能在集中日志中定位对应的应用异常和堆栈字段
- 能识别“查不到堆栈”时最常见的链路断点
先把 5xx 缩成一条具体请求
排障时不要直接搜索“500”或异常关键字。先确定故障发生的大致时间和 URI,再把时间窗口限制在故障点前后几十秒到几分钟。这样既能减少噪声,也能避免在高流量服务里混入大量无关 5xx。
如果入口层已经记录 Request ID,第一步的目标不是解释异常,而是找到失败请求对应的唯一关联值。多实例环境下,同一个 URI 在同一秒可能有很多请求,Request ID 才是跨 Gateway、业务服务和下游调用串起日志的关键。

用两次查询完成定位
下面假设日志索引为 logs-*,字段映射中 url.path.keyword 与 request_id.keyword 可做精确匹配,异常信息保存在 error.type、error.message 和 error.stack_trace。如果你的字段名不同,应先按实际 Mapping 替换字段,而不是机械照抄。
第一次查询用时间、5xx 状态码和 URI 找候选失败请求;确认结果中的 Request ID 后,第二次按 Request ID 拉出完整链路。动态时间、路径、主机和 ID 使用占位符,实际值需替换。
ES_URL="http://<HOST>:<PORT>"
curl -sS "$ES_URL/logs-*/_search" -H 'Content-Type: application/json' -d '{"size":20,"sort":[{"@timestamp":{"order":"asc"}}],"_source":["@timestamp","service.name","http.response.status_code","url.path","request_id","message"],"query":{"bool":{"filter":[{"range":{"@timestamp":{"gte":"<TIME_START>","lte":"<TIME_END>"}}},{"range":{"http.response.status_code":{"gte":500,"lte":599}}},{"term":{"url.path.keyword":"<PATH>"}}]}}}'
curl -sS "$ES_URL/logs-*/_search" -H 'Content-Type: application/json' -d '{"size":100,"sort":[{"@timestamp":{"order":"asc"}}],"_source":["@timestamp","service.name","request_id","message","error.type","error.message","error.stack_trace"],"query":{"term":{"request_id.keyword":"<ID>"}}}'预期输出
第一条查询:HTTP 200,并在 hits.hits 中找到发生于 <TIME>、路径为 <PATH> 的 5xx 日志及 request_id=<ID>。
第二条查询:HTTP 200,并按时间顺序返回 request_id=<ID> 的相关日志;若应用已记录异常字段,可看到 error.type、error.message 或 error.stack_trace。第二次查询应优先按时间升序查看。通常会先看到入口请求,再看到业务处理日志,随后出现下游失败或本服务抛出的异常。不要只盯最后一条 ERROR;异常之前的几条 INFO 或 WARN 往往记录了请求参数、依赖调用和状态变化。
堆栈字段应该怎么看
真正有诊断价值的是“异常类型 + 第一条业务栈帧 + 根因链”。例如数据库超时、空指针和连接池耗尽会有完全不同的处理方向。若日志同时包含 error.message 和 error.stack_trace,先读异常类型与消息,再定位第一条属于本项目包名的栈帧,最后检查 Caused by 后面的根因。
如果采集器正确做了 multiline 合并,一次 Java 或 Python 异常通常会作为一条日志事件进入索引。若没有合并,堆栈可能被拆成多条记录,此时应结合相邻时间、实例名、线程名等字段继续还原,不能仅凭单条 message 判断。
查不到异常时按链路回查
Request ID 能定位到 5xx,却没有异常堆栈,通常说明问题出在日志链路本身。先确认应用是否真的捕获并记录异常;其次检查异常日志是否写到了另一索引、另一服务或另一实例;再检查采集器是否把多行堆栈拆散或丢弃。
还要注意时间并不总是完全一致。Gateway、应用节点和下游服务若存在时钟偏差,或者日志异步写入,建议把搜索窗口向前后适当扩展,再用 Request ID 做最终收敛。定位完成后,应该能回答三个问题:哪一条请求失败、在哪个服务首次出现异常、最底层根因是什么。