大模型原理与训练 / 技术文章

大模型推理为什么吃显存

大模型推理服务经常遇到显存不够、并发上不去或模型无法加载的问题。本文面向 AI 应用开发者、算法工程师和负责部署的后端工程师,解释推理阶段显存的组成方式,读完后能够分析显存消耗来源,并选择合适的模型压缩与服务优化策略。

推理阶段为什么需要保存大量参数

大模型推理首先需要加载训练完成后的模型参数。虽然推理不需要保存反向传播所需的梯度和优化器状态,但模型本身的权重仍然必须驻留在显存中,才能参与矩阵计算。

例如,一个参数量为 70 亿的模型,如果使用 FP16 存储,每个参数占用 2 字节,仅权重就需要:

(70亿 \times 2\text{字节} \approx 14GB)

实际部署时还需要考虑框架额外分配的显存、临时计算空间以及运行时缓存,因此模型标称大小通常不是完整显存需求。

KV Cache 为什么会持续增加显存占用

自回归生成文本时,模型每生成一个新的 token,都需要参考之前 token 的注意力信息。如果每次都重新计算历史内容,会造成大量重复计算。

因此推理框架会保存 Key 和 Value 张量,也就是 KV Cache。随着上下文长度和并发请求增加,KV Cache 会持续增长。

影响 KV Cache 大小的主要因素包括:

  • 输入和输出 token 总长度
  • Transformer 层数
  • 注意力头数量
  • 隐藏层维度
  • 同时服务的请求数量

对于长上下文应用,即使模型参数固定,KV Cache 也可能成为最大的显存消耗来源。

推理计算为什么还需要额外显存

除了模型权重和 KV Cache,推理过程中还需要临时存储中间计算结果。例如矩阵乘法、激活函数计算以及注意力计算都会产生临时张量。

不同推理框架的显存管理方式不同,部分计算可以复用已有内存,部分场景需要申请新的工作空间。

可以将推理显存粗略理解为:

(显存占用 = 模型权重 + KV Cache + 激活临时空间 + 框架运行开销)

其中模型权重决定最低启动门槛,KV Cache 决定长文本和高并发场景的扩展能力。

为什么量化可以降低推理显存

量化通过降低参数表示精度减少模型存储空间。例如 FP16 参数通常使用 16 位表示,而 INT8 或 INT4 可以进一步压缩。

一个简单示例:

text
FP16:
1 个参数 = 16 bit

INT8:
1 个参数 = 8 bit

INT4:
1 个参数 = 4 bit

预期结果

text
相同参数数量下:
INT8 显存约为 FP16 的 50%
INT4 显存约为 FP16 的 25%

量化可以让更大的模型运行在有限显存设备上,但精度损失、算子支持和推理速度需要同时评估。

为什么批量推理会改变显存需求

提高并发通常需要增加 batch size。批量越大,同一时间处理的 token 越多,KV Cache 和临时计算空间也会增加。

因此推理服务优化不是简单追求最大 batch,而是在吞吐量、延迟和显存之间寻找平衡。

常见优化方向包括:

  • 限制最大上下文长度
  • 使用连续批处理提升利用率
  • 调整并发请求数量
  • 使用分页 KV Cache 管理长上下文

如何定位大模型推理显存瓶颈

遇到显存不足时,需要先判断是哪部分占用过高,而不是直接降低模型规模。

可以按照以下顺序分析:

  1. 查看模型加载后的基础占用,确认权重是否已经接近显存上限。
  2. 增加不同长度输入测试,观察 KV Cache 增长趋势。
  3. 调整并发数量,确认请求规模是否导致显存上涨。
  4. 比较量化前后的显存和性能变化。

理解显存组成后,开发者可以更准确地选择模型大小、硬件规格和推理框架配置,让有限 GPU 资源支撑更稳定的 AI 应用。

目录与阅读设置

记录一个想法

大模型推理为什么吃显存

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通