Python / 系统课时
背压为什么能阻止内存上涨
背压为什么能阻止内存上涨
当网络发送方持续写入,而接收方或链路来不及消费时,待发送数据会先堆在本地缓冲区。背压的目标不是让网络变快,而是让生产者在缓冲区接近上限时主动让出执行权,把写入速度压回到系统真正能发送的范围。
学习目标
- 理解
StreamWriter.write()连续写入为什么可能推高进程内存 - 说明
await writer.drain()如何把缓冲区压力反馈给生产者 - 在慢消费者场景中正确安排写入、等待与关闭顺序
写得快为什么会吃内存
StreamWriter.write() 不是“等对端收到后再返回”。它会尽量把数据交给底层传输层;当套接字暂时写不进去时,剩余数据进入 asyncio 的写缓冲区。如果业务循环只调用 write() 而从不等待,生产者就可能比网络快很多,缓冲区会持续积累。
TCP 本身也有流量控制,但它首先约束的是链路和内核套接字。应用层若不断把新数据塞给传输层,仍然需要一个机制把“现在写得太快”反馈到协程,否则内存压力只是从网络问题变成了进程缓冲问题。

drain 如何形成背压
await writer.drain() 是流式写入的流量控制点。缓冲区压力不高时,它通常很快返回;当底层写缓冲达到高水位后,它会暂停当前协程,让事件循环有机会继续把积压数据发送出去,等压力下降后再恢复生产者。
因此,正确节奏通常是“写一批,再 drain 一次”。不必把每个很小的字段都单独 drain(),但也不要累计无限大的业务数据后才等待。批次大小应根据消息尺寸、延迟要求和内存预算选择。
用慢消费者观察节奏
下面的完整程序在本机启动一个故意读取很慢的 TCP 服务端。客户端连续发送 40 个 64 KiB 数据块,并在每次写入后调用 drain()。这样即使消费者较慢,生产者也会在底层缓冲压力升高时暂停,而不是无界地排队。
import asyncio
HOST = "127.0.0.1"
CHUNKS = 40
CHUNK_SIZE = 64 * 1024
async def main():
done = asyncio.Event()
stats = {"received": 0}
async def slow_reader(reader, writer):
try:
while data := await reader.read(16 * 1024):
stats["received"] += len(data)
# 故意降低消费速度,制造发送侧缓冲压力。
await asyncio.sleep(0.01)
finally:
writer.close()
await writer.wait_closed()
done.set()
server = await asyncio.start_server(slow_reader, HOST, 0)
port = server.sockets[0].getsockname()[1]
print(f"listening on {HOST}:{port}")
async with server:
_, writer = await asyncio.open_connection(HOST, port)
payload = b"x" * CHUNK_SIZE
for _ in range(CHUNKS):
writer.write(payload)
# 让发送速度服从底层缓冲能力,而不是无限排队。
await writer.drain()
writer.close()
await writer.wait_closed()
await done.wait()
sent = CHUNKS * CHUNK_SIZE
print(f"sent={sent} received={stats['received']}")
asyncio.run(main())预期输出
listening on 127.0.0.1:<PORT>
sent=2621440 received=2621440<PORT> 是系统动态分配的本地端口,实际值会不同。若删掉循环里的 await writer.drain() 并把发送量扩大很多,程序仍可能完成,但写缓冲更容易快速膨胀;这正是背压要限制的行为。
背压不能替代容量控制
背压解决的是“生产速度暂时高于消费速度”时的节奏问题,不会自动解决无限队列、超大单消息或永远不读取的对端。生产系统通常还需要限制单连接待发送数据、队列长度和请求并发数,并为长时间无法排空的连接设置超时。
关闭连接前也应先完成必要的 drain(),再调用 writer.close() 和 await writer.wait_closed()。这样可以把正常的流量控制、资源释放和异常处理分开:背压负责减速,超时负责止损,容量上限负责阻止系统在持续过载时无限占用内存。