可观测性与稳定性 / 系统课时
配置批处理、内存保护与发送队列
配置批处理、内存保护与发送队列
Collector 在流量突增或后端短暂不可用时,稳定性取决于限流、批处理、排队与重试是否各司其职。本节用一条完整 Traces Pipeline 配置这些机制,并说明压力出现时数据如何流动、哪里会产生背压,以及该观察哪些信号。
学习目标
- 配置
memory_limiter、batch、sending_queue与retry_on_failure - 理解四种机制在 Collector 数据路径中的位置与职责边界
- 用配置校验和运行指标判断队列、重试与内存保护是否按预期工作
把稳定性机制放在正确位置
memory_limiter 应尽量位于处理器链最前面,在内存接近上限时尽早拒绝新数据并向上游施加背压;batch 位于处理链后段,把零散遥测合并后再交给 exporter。sending_queue 与 retry_on_failure 则属于 exporter 侧:前者缓冲待发送请求,后者处理可重试的临时发送失败。

这四个机制不能互相替代:批处理减少请求频率但会占用一定内存;队列吸收短时后端抖动但容量有限;重试只适合临时故障;内存保护的目标是避免 Collector 因持续积压直接 OOM,而不是保证数据永不丢失。
配置一条抗压 Traces Pipeline
下面示例以本地 OTLP gRPC 后端为目标。memory_limiter 的硬限制为 512 MiB,spike_limit_mib 为 128 MiB,因此软限制约为 384 MiB;batch 以 1024 个 span 为发送触发点,并用 2048 控制单批上限。
receivers:
otlp:
protocols:
grpc:
endpoint: 0.0.0.0:4317
processors:
memory_limiter:
check_interval: 1s
limit_mib: 512
spike_limit_mib: 128
batch:
timeout: 1s
send_batch_size: 1024
send_batch_max_size: 2048
exporters:
otlp/backend:
endpoint: localhost:14317
tls:
insecure: true
sending_queue:
enabled: true
num_consumers: 4
queue_size: 1000
retry_on_failure:
enabled: true
initial_interval: 1s
max_interval: 10s
max_elapsed_time: 60s
service:
pipelines:
traces:
receivers: [otlp]
processors: [memory_limiter, batch]
exporters: [otlp/backend]这份配置的生效行为是:数据先经过内存保护,再按大小或超时形成批次,随后进入 exporter 的发送队列;后端出现临时错误时,发送端按退避参数重试。tls.insecure: true 仅适合本地实验,生产环境应使用受信任证书。
先用 Collector 自带的配置校验检查字段、组件和 Pipeline 引用关系。<PATH> 替换为实际配置文件路径。
otelcol-contrib validate --config=<PATH>预期结果
退出码:0
配置解析与组件校验通过;无错误输出。实际可执行文件名取决于所使用的发行版;如果自定义发行版未包含某个组件,校验会直接失败,而不是在运行时悄悄忽略配置。
理解压力升高时会发生什么
正常流量下,batch 尽量减少小请求,队列消费者持续把批次发送到后端。短暂网络故障出现后,重试会延缓失败请求,发送队列则吸收新到达的请求,使接收端与后端恢复速度暂时解耦。
当后端长时间不可用时,队列会逐步接近容量上限。队列不是持久化无限缓存,容量设置过大反而会把故障转化为内存压力;容量耗尽后,应预期出现入队失败或数据丢弃风险,并通过告警及时发现。
当进程内存超过 memory_limiter 的软限制时,它会开始拒绝新数据并把错误返回给上游组件。只有上游协议或发送方能够正确重试、退避时,这种背压才有机会避免丢数;因此不能把内存限制器当成“最后一道无损保险”。
调参与验收
send_batch_size 是触发发送的目标大小,不等同于硬上限;真正限制单次批量大小的是 send_batch_max_size。num_consumers 提高可以增加并发发送能力,但后端吞吐、网络和 CPU 才决定有效上限。queue_size 控制可积压的发送请求单元,不应直接按 span 数等价换算。
验收时至少同时观察三类现象:Collector 内存是否长期逼近限制、exporter 队列是否持续增长、发送失败与重试是否在后端恢复后回落。若队列长期只增不减,优先解决后端吞吐或网络故障;若内存先触顶,再增大队列通常只会延后故障而不会消除故障。
最终配置目标不是“把所有数字调大”,而是让短时尖峰由批处理和队列吸收、临时故障由重试恢复、持续过载由内存保护尽早施加背压,并用内部遥测确认每一层都处于可控范围。