Redis 与缓存 / 系统课时

识别客户端缓冲区内存

识别客户端缓冲区内存

Redis 客户端不仅占一个 TCP 连接,还会消耗查询缓冲区、命令参数和输出缓冲区等内存。慢消费者、Pub/Sub 订阅者或一次返回大量数据的连接,都可能让客户端内存迅速增长。本课建立从实例总量到单连接定位的检查路径。

学习目标

  • 识别客户端输入、输出缓冲区及连接上下文的主要内存来源
  • 使用 INFO MEMORY 与 CLIENT LIST 找到异常客户端
  • 判断普通客户端和 Pub/Sub 慢消费者为什么会造成内存压力

客户端内存从哪里来

客户端向 Redis 发送数据时,Redis 需要接收并解析请求;回复生成后,如果网络发送速度跟不上数据产生速度,尚未发送的回复又必须暂存在输出缓冲区。连接本身及解析中的参数也会占用内存,因此连接数和单连接缓冲区大小都会影响总量。

Pub/Sub 是特别典型的放大场景:发布者不断产生消息,而某个订阅者处理或网络读取速度不足,Redis 仍需要暂存尚未送出的消息。只要生产速度持续高于消费速度,输出缓冲区就会继续累积,直到恢复、触发限制断开,或给实例带来明显内存压力。

Redis 客户端缓冲区的内存流向

先判断客户端总量是否异常

INFO memory 中的 mem_clients_normal 可以快速观察普通客户端相关内存。复制连接使用单独的统计口径,因此排查普通业务连接时不要把复制缓冲区和客户端缓冲区混为一类。

bash
redis-cli INFO memory | grep -E '^(used_memory:|used_memory_human:|mem_clients_normal:|mem_clients_slaves:)'

预期输出类似如下,实际值会随连接数量和缓冲区变化:

text
used_memory:<VALUE>
used_memory_human:<VALUE>
mem_clients_slaves:<VALUE>
mem_clients_normal:<VALUE>

如果 used_memory 上涨时 mem_clients_normal 同步快速上涨,应立即继续定位具体连接。反过来,如果客户端内存保持稳定,就不应因为连接数较多而直接认定 OOM 来自客户端缓冲区。

找出占内存最大的连接

CLIENT LIST 会返回每个客户端的状态。Redis 7.x 及后续常见版本中,可以重点关注 omem、tot-mem、rbs、rbp 等字段;其中 omem 是输出缓冲区相关内存,tot-mem 则提供这个客户端各种缓冲区和上下文的总内存视角。

bash
redis-cli CLIENT LIST

预期结果会是一行一个客户端,字段和值因连接而异:

text
id=<ID> addr=<IP>:<PORT> laddr=<IP>:<PORT> fd=<ID> name=<VALUE> age=<VALUE> idle=<VALUE> flags=<VALUE> db=0 sub=<VALUE> psub=<VALUE> multi=-1 qbuf=<VALUE> qbuf-free=<VALUE> argv-mem=<VALUE> obl=<VALUE> oll=<VALUE> omem=<VALUE> tot-mem=<VALUE> events=<VALUE> cmd=<VALUE> user=<VALUE> redir=-1 resp=<VALUE> rbs=<VALUE> rbp=<VALUE>

不同 Redis 版本的字段集合可能不同,因此自动化脚本应按字段名解析,而不是依赖固定列位置。

omem 持续偏大的连接通常值得优先检查。oll 表示排队中的输出对象数量,obl 表示输出缓冲区长度;这些值持续增长,通常意味着 Redis 产生回复的速度已经高于该连接实际发送出去的速度。

区分输入堆积与输出堆积

输出堆积最常见于慢消费者、大结果集以及 Pub/Sub。此时重点看 omem、obl、oll 和客户端类型,再结合地址、名称与最后执行命令定位业务来源。仅凭最后一个 cmd 不能还原完整历史,但足以帮助缩小连接归属范围。

输入侧则要关注客户端是否持续发送超大请求、请求是否完整到达,以及读缓冲区是否出现异常峰值。新版本暴露的 rbs 与 rbp 能分别观察当前和历史峰值读缓冲区大小;如果版本没有这些字段,应结合 qbuf、请求模式和客户端行为分析。

用限制阻止慢客户端无限放大

Redis 可以通过 client-output-buffer-limit 为不同类别的客户端设置输出缓冲区限制。硬限制达到后连接会被关闭;软限制则要求缓冲区连续超过指定大小达到一定时间后再关闭。具体阈值应根据消息大小、网络抖动和可接受重连行为确定,而不是机械复制其他系统的数字。

bash
redis-cli CONFIG GET client-output-buffer-limit

预期结果会返回当前实例配置,具体数值可能因版本和部署策略不同:

text
client-output-buffer-limit
<VALUE>

生产环境发现某个 Pub/Sub 客户端 omem 持续上涨时,正确顺序是先确认该客户端是否真的消费过慢,再检查输出缓冲区限制是否能形成最后一道保护。直接放大限制只会允许问题连接占用更多内存,并不会提高客户端消费能力。

客户端缓冲区治理的核心不是把所有连接限制得越小越好,而是让总量指标发现异常、单连接指标定位来源,并用合理的输出缓冲区限制阻止单个慢客户端把实例剩余内存持续吃掉。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

识别客户端缓冲区内存

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通