大模型原理与训练 / 技术文章
大模型推理为什么吃显存
大模型推理服务经常遇到显存不够、并发上不去或模型无法加载的问题。本文面向 AI 应用开发者、算法工程师和负责部署的后端工程师,解释推理阶段显存的组成方式,读完后能够分析显存消耗来源,并选择合适的模型压缩与服务优化策略。
推理阶段为什么需要保存大量参数
大模型推理首先需要加载训练完成后的模型参数。虽然推理不需要保存反向传播所需的梯度和优化器状态,但模型本身的权重仍然必须驻留在显存中,才能参与矩阵计算。
例如,一个参数量为 70 亿的模型,如果使用 FP16 存储,每个参数占用 2 字节,仅权重就需要:
(70亿 \times 2\text{字节} \approx 14GB)
实际部署时还需要考虑框架额外分配的显存、临时计算空间以及运行时缓存,因此模型标称大小通常不是完整显存需求。
KV Cache 为什么会持续增加显存占用
自回归生成文本时,模型每生成一个新的 token,都需要参考之前 token 的注意力信息。如果每次都重新计算历史内容,会造成大量重复计算。
因此推理框架会保存 Key 和 Value 张量,也就是 KV Cache。随着上下文长度和并发请求增加,KV Cache 会持续增长。
影响 KV Cache 大小的主要因素包括:
- 输入和输出 token 总长度
- Transformer 层数
- 注意力头数量
- 隐藏层维度
- 同时服务的请求数量
对于长上下文应用,即使模型参数固定,KV Cache 也可能成为最大的显存消耗来源。
推理计算为什么还需要额外显存
除了模型权重和 KV Cache,推理过程中还需要临时存储中间计算结果。例如矩阵乘法、激活函数计算以及注意力计算都会产生临时张量。
不同推理框架的显存管理方式不同,部分计算可以复用已有内存,部分场景需要申请新的工作空间。
可以将推理显存粗略理解为:
(显存占用 = 模型权重 + KV Cache + 激活临时空间 + 框架运行开销)
其中模型权重决定最低启动门槛,KV Cache 决定长文本和高并发场景的扩展能力。
为什么量化可以降低推理显存
量化通过降低参数表示精度减少模型存储空间。例如 FP16 参数通常使用 16 位表示,而 INT8 或 INT4 可以进一步压缩。
一个简单示例:
FP16:
1 个参数 = 16 bit
INT8:
1 个参数 = 8 bit
INT4:
1 个参数 = 4 bit预期结果
相同参数数量下:
INT8 显存约为 FP16 的 50%
INT4 显存约为 FP16 的 25%量化可以让更大的模型运行在有限显存设备上,但精度损失、算子支持和推理速度需要同时评估。
为什么批量推理会改变显存需求
提高并发通常需要增加 batch size。批量越大,同一时间处理的 token 越多,KV Cache 和临时计算空间也会增加。
因此推理服务优化不是简单追求最大 batch,而是在吞吐量、延迟和显存之间寻找平衡。
常见优化方向包括:
- 限制最大上下文长度
- 使用连续批处理提升利用率
- 调整并发请求数量
- 使用分页 KV Cache 管理长上下文
如何定位大模型推理显存瓶颈
遇到显存不足时,需要先判断是哪部分占用过高,而不是直接降低模型规模。
可以按照以下顺序分析:
- 查看模型加载后的基础占用,确认权重是否已经接近显存上限。
- 增加不同长度输入测试,观察 KV Cache 增长趋势。
- 调整并发数量,确认请求规模是否导致显存上涨。
- 比较量化前后的显存和性能变化。
理解显存组成后,开发者可以更准确地选择模型大小、硬件规格和推理框架配置,让有限 GPU 资源支撑更稳定的 AI 应用。