Python / 系统课时

流式响应怎么边收边处理

流式响应怎么边收边处理

面对大文件下载、NDJSON、SSE 或持续输出接口,最危险的做法不是“慢”,而是先把整个响应读进内存。流式处理的关键是让网络数据按块进入程序,消费完当前块再继续读取,从而把峰值内存与响应总大小解耦。

学习目标

  • 理解一次性读取与流式读取对内存占用的差异
  • 使用异步迭代按块消费 HTTP 响应
  • 根据数据边界、处理速度和内存预算选择分块策略

为什么要流式处理

如果调用 await response.read(),客户端会持续收取数据并把完整响应聚合成一个 bytes 对象。响应只有几 KB 时很方便,但下载数百 MB 文件或连接持续数小时的流式接口时,内存占用会随已接收数据增长。

流式读取则只把当前可处理的数据块交给业务逻辑。应用可以边计算、边解析、边写入下游,而不是等“全部到齐”才开始。aiohttp 的 response.content 是 StreamReader,可通过异步迭代与 iter_chunked() 逐块读取。

流式响应的数据流与内存边界

用异步迭代分块消费

下面的示例在本机启动一个 aiohttp HTTP 服务,服务端分五次写出数据;客户端使用 iter_chunked(8) 消费响应,并只累计字节数和观察到的最大块大小,不保存完整正文。运行前需要环境中已安装 aiohttp。

python
import asyncio

from aiohttp import ClientSession, web

async def stream_handler(request: web.Request) -> web.StreamResponse:
    response = web.StreamResponse(status=200)
    await response.prepare(request)

    # 每次写出 8 字节,模拟服务端持续产生数据。
    for index in range(5):
        await response.write(f"chunk-{index}\n".encode())
        await asyncio.sleep(0.05)

    await response.write_eof()
    return response

async def main() -> None:
    app = web.Application()
    app.router.add_get("/stream", stream_handler)

    runner = web.AppRunner(app)
    await runner.setup()
    site = web.TCPSite(runner, "127.0.0.1", 0)
    await site.start()

    # 0 表示让系统分配可用端口;实际端口从已绑定 socket 读取。
    port = runner.addresses[0][1]

    try:
        async with ClientSession() as session:
            async with session.get(f"http://127.0.0.1:{port}/stream") as response:
                total_bytes = 0
                peak_chunk = 0

                async for chunk in response.content.iter_chunked(8):
                    total_bytes += len(chunk)
                    peak_chunk = max(peak_chunk, len(chunk))
                    # 真实业务可在这里增量解析、计算摘要或写入下游。

                print(
                    f"status={response.status}, "
                    f"total_bytes={total_bytes}, "
                    f"peak_chunk<=8={peak_chunk <= 8}"
                )
    finally:
        await runner.cleanup()

asyncio.run(main())

预期输出

text
status=200, total_bytes=40, peak_chunk<=8=True

iter_chunked(8) 保证每次交给应用的块不超过 8 字节,但不保证网络层恰好按服务端每次 write() 的边界交付。因此业务逻辑不能把“一次迭代”误认为“一条完整消息”;如果协议有行、JSON 对象或自定义帧边界,应继续做增量解析。

分块大小真正影响什么

块太大时,单次处理需要更多临时内存,也可能让 CPU 密集的解析阶段长时间占住事件循环;块太小时,Python 循环次数和函数调用开销会上升。常见做法是从几十 KB 量级开始,再根据吞吐、延迟和对象大小实测调整,而不是追求某个固定“最佳值”。

更重要的是消费速度。async for 循环里的处理如果会等待网络或其他异步资源,应正常 await,让事件循环调度其他任务;如果处理本身是很重的同步 CPU 计算,即使读取是异步的,也会把事件循环卡住。此时应把计算拆小或移到进程池,而不是盲目减小网络块。

什么时候选择哪种读取方式

响应体很小且必须一次性解析时,直接 read() 或 json() 最简单;大文件、对象存储下载、代理转发和长连接输出适合分块读取;按行产生的日志或 NDJSON 更适合按行消费。无论使用哪种方式,都要给请求设置合理超时,并在取消任务时让 async with 正常退出,以便连接归还连接池。

判断是否真正做到流式处理,可以看一个简单标准:业务处理一段时间后,进程内存应主要受“当前缓冲与当前处理对象”影响,而不是随着响应累计字节数持续线性增长。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

流式响应怎么边收边处理

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通