可观测性与稳定性 / 系统课时

Pipeline 堵塞怎么定位瓶颈

Pipeline 堵塞怎么定位瓶颈

Logstash 出现日志积压时,单看 CPU 或队列长度很难判断问题在哪。有效的排查需要沿着输入速率、Pipeline 工作线程、队列和输出端逐层缩小范围,并结合 Logstash Node Stats API 的累计指标判断事件究竟卡在处理阶段还是下游输出阶段。

学习目标

  • 使用 Node Stats API 获取 Pipeline 的事件与流量指标
  • 结合工作线程利用率、队列和输出延迟判断瓶颈位置
  • 按输入、过滤、输出和下游系统的顺序验证修复效果

先理解事件为什么会积压

一条事件通常经过输入插件、内部队列、Pipeline Worker 执行过滤与输出,最后到达 Elasticsearch 等下游系统。任意环节消费速度长期低于上游产生速度,都可能形成背压。

Logstash Pipeline 堵塞定位链路

因此,“队列变长”只是结果,不是根因。排查时需要回答三个问题:事件进入和流出的速率是否失衡、Worker 是否已经忙满、输出端是否因为下游响应变慢而占用处理时间。

从 Node Stats API 取证

Logstash 默认 HTTP API 通常监听本机 9600 端口;如果实例修改过 API 设置,应使用实际地址和端口。先获取目标 Pipeline 的统计信息:

bash
curl -s 'http://127.0.0.1:9600/_node/stats/pipelines?pretty'

预期输出会包含各 Pipeline 的 events、flow、queue 等统计结构。下面仅展示用于定位的结构片段,具体数值、插件字段和可用流量指标会随版本、配置及运行状态变化。

json
{
  "pipelines": {
    "main": {
      "events": {
        "in": 120000,
        "filtered": 119800,
        "out": 119500
      },
      "flow": {
        "worker_utilization": {
          "current": 96.0
        }
      },
      "queue": {
        "type": "persisted"
      }
    }
  }
}

这些事件计数主要是累计值,不能把两次请求中的 events.in 或 events.out 直接当作每秒速率。需要在固定时间间隔取两次样本,用计数差除以时间差,或者优先查看当前 Logstash 版本提供的 flow 速率指标。

判断 Worker 还是输出端受限

worker_utilization 长时间接近饱和,说明 Worker 大部分时间都在处理事件,但还不能据此断定过滤器太慢。因为 Worker 执行过滤器和输出插件,慢速 Elasticsearch 输出同样可能占住 Worker。

继续查看插件级统计,可以把范围缩小到具体 Filter 或 Output:

bash
curl -s 'http://127.0.0.1:9600/_node/stats/pipelines/main?pretty'

预期结果中可以看到 plugins.filters 和 plugins.outputs 等结构,并包含插件处理事件及耗时相关统计;实际插件 ID 和数值取决于 Pipeline 配置。

json
{
  "pipelines": {
    "main": {
      "plugins": {
        "filters": [],
        "outputs": []
      }
    }
  }
}

如果某个 CPU 密集型过滤器对应的处理耗时明显增加,同时 Worker 持续饱和,应优先检查 Grok 表达式、Ruby Filter 或其他计算逻辑。若输出插件耗时上升,则继续检查 Elasticsearch 写入延迟、网络、批量请求失败与重试,而不是先盲目增加 pipeline.workers。

队列告诉你积压发生到了什么程度

使用持久化队列时,还应观察队列相关统计和磁盘空间。队列持续增长意味着进入速度长期高于处理速度;如果增长同时伴随输出延迟升高,通常应优先调查下游。如果 Worker 已饱和而输出端正常,则过滤计算或 Worker 配置更值得检查。

还要区分短时峰值和持续瓶颈。业务流量突然升高后队列增长,但峰值结束后能稳定回落,说明队列正在发挥缓冲作用;如果输入恢复正常后队列仍继续增长,才说明系统的持续处理能力不足。

用前后两次采样验证修复

修复后不要只看 Pipeline 是否还在运行。间隔一段时间再次获取统计数据,确认输出能够追上输入,同时观察 Worker 利用率、插件耗时和队列趋势。

bash
curl -s 'http://127.0.0.1:9600/_node/stats/pipelines/main?pretty'
sleep 10
curl -s 'http://127.0.0.1:9600/_node/stats/pipelines/main?pretty'

预期结果是得到相隔约 10 秒的两份统计快照。实际计数无法预先固定,但修复有效时,应看到事件持续输出,并结合两次累计计数计算这段时间的输入与输出速率;已有积压时,输出速率还应在一段时间内高于输入速率,队列才会逐步回落。

定位 Pipeline 堵塞时,应把“积压”视为沿事件链路产生的结果:先确认输入和输出是否失衡,再观察 Worker 与队列,最后下钻到插件和下游系统。这样才能判断应该优化过滤规则、调整并发与批量参数,还是修复 Elasticsearch 等输出端,而不是通过重启 Logstash 暂时清空症状。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

Pipeline 堵塞怎么定位瓶颈

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通