Redis 与缓存 / 系统课时

使用 Pipeline 批量发送命令

使用 Pipeline 批量发送命令

本课解决批量执行大量 Redis 命令时网络往返过多的问题。你将使用 Pipeline 一次发送多条命令、按加入顺序读取结果,并理解它只优化传输效率,不会为命令组提供原子性。

学习目标

  • 理解 Pipeline 如何减少网络往返
  • 使用 redis-py 批量执行读写命令
  • 控制批次大小并正确处理逐条结果

Pipeline 优化的是什么

普通模式下,客户端通常发送一条命令并等待一次响应,执行 N 条命令会产生接近 N 次网络往返。Pipeline 允许客户端连续写入多条命令,再集中读取响应,主要节省等待时间。

Pipeline 不会把多条命令合并成一条 Redis 命令,也不会自动启用 MULTI/EXEC。同一连接中的响应顺序与命令发送顺序一致,但其他客户端仍可能在这批命令之间执行操作,因此不能依赖它保护跨命令约束。

普通请求与 Pipeline 网络往返对比

使用 redis-py 执行批量命令

将以下代码保存为 pipeline_demo.py。示例显式设置 transaction=False,表示只使用 Pipeline,不启用事务。

python
import os
from redis import Redis

client = Redis(
    host=os.getenv("REDIS_HOST", "127.0.0.1"),
    port=int(os.getenv("REDIS_PORT", "6379")),
    decode_responses=True,
)

pipe = client.pipeline(transaction=False)
pipe.set("user:1:name", "Alice")
pipe.set("user:2:name", "Bob")
pipe.mget(["user:1:name", "user:2:name"])

results = pipe.execute()
print(results)

安装依赖并运行程序:

bash
python -m pip install redis
python pipeline_demo.py

预期输出

text
[True, True, ['Alice', 'Bob']]

execute() 返回的列表与命令加入 Pipeline 的顺序一致。前两个 True 对应两次 SET,最后一个列表对应 MGET。

控制批次大小

Pipeline 会在客户端暂存待发送命令,并在客户端和服务端短时间积累响应。一次加入过多命令会抬高内存峰值、延长连接占用时间,并影响其他请求延迟。

工程中可先按每批 100 到 1000 条执行,再根据命令大小、网络延迟和实例负载压测调整。批次并非越大越好,目标是在吞吐量、单批延迟和内存占用之间取得平衡。

处理错误与结果

redis-py 默认调用 execute() 时,只要结果中存在命令错误就会抛出 ResponseError;已经发送到 Redis 的其他命令不会因此自动撤销。若业务需要逐项检查,可使用 execute(raise_on_error=False),此时错误会以异常对象出现在对应结果位置。

应同时记录命令索引、业务键和批次编号,才能把失败结果映射回原始任务。对于“读取余额后决定是否扣款”这类相互依赖的操作,不要用普通 Pipeline 代替原子方案,应选择 Lua 或带 WATCH 的事务重试。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

使用 Pipeline 批量发送命令

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通