可观测性与稳定性 / 系统课时
制作错误和流量 Dashboard
制作错误和流量 Dashboard
这一练习把已经进入搜索引擎的结构化日志整理成一个可值守的 Dashboard:既能看整体流量和错误趋势,也能快速定位出错服务与热门接口,并能用统一时间范围和筛选条件联动所有面板。
学习目标
- 用日志总量、HTTP 状态码、错误服务和热门接口覆盖最常见的运行问题。
- 用同一数据视图、时间字段和筛选器保证多个面板口径一致。
- 通过查询验证字段与聚合结果,避免做出“有图但口径错误”的 Dashboard。
先验证日志字段能支持聚合
下面以 Elasticsearch/OpenSearch 兼容的查询 DSL 检查最近 15 分钟日志。假设索引为 logs-*,并且 status_code 是数值字段,service.keyword 与 path.keyword 可用于精确聚合;如果你的 Mapping 已把 service、path 直接定义为 keyword,就去掉 .keyword。
curl -s -X POST "http://<HOST>:<PORT>/logs-*/_search" -H "Content-Type: application/json" -d '{"size":0,"track_total_hits":true,"query":{"range":{"@timestamp":{"gte":"now-15m","lte":"now"}}},"aggs":{"status":{"terms":{"field":"status_code","size":10}},"error_services":{"filter":{"range":{"status_code":{"gte":500}}},"aggs":{"services":{"terms":{"field":"service.keyword","size":10}}}},"top_paths":{"terms":{"field":"path.keyword","size":10}}}}'预期输出
返回 HTTP 200,并包含 hits.total、aggregations.status.buckets、aggregations.error_services.services.buckets 和 aggregations.top_paths.buckets;其中数量会随当前日志变化。如果请求报 fielddata、illegal_argument_exception 或某个字段不存在,先修正 Mapping 或选择可聚合的 keyword/数值字段,再继续做可视化。Dashboard 不应依赖一个本身无法稳定聚合的字段。
建立统一的数据视图
在 Kibana 或 OpenSearch Dashboards 中创建指向 logs-* 的数据视图(部分版本称 Index Pattern),时间字段选择 @timestamp。随后把 Dashboard 的全局时间范围先设为最近 15 分钟,并确认所有面板都使用这个数据视图。
制作四个核心面板
日志总量适合用 Metric 显示当前时间窗口内的文档数,用来回答“流量是否突然放大或归零”。HTTP 状态码适合用按时间分桶的柱状图或堆叠面积图,再用范围或 Filters 把 status_code 分成 2xx、4xx、5xx,观察错误是否与流量同步变化。
错误服务面板只统计 status_code >= 500 的记录,再按 service.keyword 做 Terms 聚合。热门接口面板按 path.keyword 聚合并按文档数降序排列;如果接口包含动态 ID,应优先使用已经标准化的路由模板字段,例如 /orders/{id},否则热门榜会被大量不同 URL 稀释。
加上能联动排障的筛选条件
至少保留 service、environment、status_code 三类筛选入口。值守时先从总量与状态码趋势判断异常,再点选某个 5xx 时间段或服务,让其余面板同步收窄;最后从 Dashboard 跳到原始日志详情确认具体错误。
用可回答的问题验收
完成后用三组问题验收 Dashboard:当前 15 分钟日志量是多少、5xx 是否突然升高、哪个服务和哪个接口贡献了最多错误。随后切换时间范围到最近 24 小时,再添加一个 service 筛选,确认四个面板都会随时间和筛选条件一起变化。
如果同一时间窗口里查询接口的聚合结果与 Dashboard 数值明显不一致,应优先检查数据视图、时间字段、隐藏过滤器和面板自身过滤条件,而不是先怀疑搜索引擎数据丢失。