大模型原理与训练 / 系统课时

排查 OOM 与训练不稳定

排查 OOM 与训练不稳定

显存不足、NaN、梯度爆炸和吞吐下降经常同时出现,但修复顺序不同。本节给出一条从低成本参数到分片训练的定位路径,先确认 OOM 发生在哪个阶段,再在不破坏有效批大小和数值稳定性的前提下逐步收缩显存。

学习目标

  • 按序列长度、微批大小、梯度累积、检查点、量化和参数分片定位 OOM
  • 区分 NaN、梯度爆炸与吞吐下降的主要信号和根因
  • 用 GPU 监控与复跑结果验证修复是否真正生效

先确认 OOM 发生在哪个阶段

同样是 CUDA out of memory,发生阶段不同,优先检查项也不同。加载模型时就失败,通常是权重或分片策略问题;前向或反向阶段失败,更常见的是序列长度、微批和激活占用;优化器 step 才失败,则要额外关注优化器状态和全参数训练的梯度占用。

发生位置 优先怀疑 第一动作
模型加载 权重精度、设备映射、参数未分片 检查加载 dtype 与分片
前向计算 序列过长、微批过大 降低最大序列长度或微批
反向计算 激活、梯度、检查点未启用 开启梯度检查点
optimizer step 优化器状态、全参数训练 评估 8-bit optimizer 或参数分片
评测/生成 eval batch、生成长度、KV cache 单独降低评测批量和生成长度

LLM 训练 OOM 的定位与降显存顺序

这条顺序的目的不是机械地逐项减参数,而是先改动对训练语义影响最小、最容易验证的变量,再引入计算换显存或通信换显存的方案。

用 GPU 探针确认现状

先记录空闲显存、当前占用和利用率,避免把“机器上还有别的进程”误判为训练配置问题。下面命令可直接运行在安装了 NVIDIA 驱动的训练节点上。

bash
nvidia-smi --query-gpu=index,name,memory.total,memory.used,memory.free,utilization.gpu --format=csv,noheader,nounits

预期输出:

text
0, <GPU_NAME>, <TOTAL_MB>, <USED_MB>, <FREE_MB>, <UTIL_PERCENT>

实际型号和数值会不同。若训练还未启动就已经占用了大量显存,应先确认是否存在其他进程;若 OOM 前显存逐步增长且不回落,则还要检查是否把带计算图的 tensor 长期保存在列表、日志对象或缓存中。

按成本从低到高释放显存

先缩短序列长度。Transformer 训练的激活占用会随 token 数显著增加,普通注意力的计算和中间张量还可能呈近似二次增长。数据允许时,把 max_seq_length 从过高值降到真实业务需要的上限,通常比先动优化器更有效。

再降低每张卡的微批大小。有效批大小可近似写成:

Beff=Bmicro×G×WB_{eff}=B_{micro}\times G\times W

其中 BmicroB_{micro} 是单卡微批,GG 是梯度累积步数,WW 是数据并行进程数。若把微批从 4 降到 1,可以提高 GG 来保持相近的有效批大小。梯度累积本身不会降低单个微批的激活显存,它的作用是允许使用更小微批而不必同步缩小有效批。

仍然不足时再启用 gradient checkpointing,用重复计算换取更低的激活保存量。它通常会降低吞吐,因此修复 OOM 后要重新测 step time,而不能只看“终于能跑起来”。

如果是 LoRA/QLoRA 路线,可进一步用 4-bit 量化保存冻结的基座权重,以显著降低权重显存。全参数训练则不能简单把“QLoRA 省显存”直接套用,因为需要更新的参数、梯度和优化器状态仍然占据主要空间。

最后才进入 FSDP 或 ZeRO 等参数分片,把参数、梯度或优化器状态拆到多张卡。分片能突破单卡容量,但会增加通信、配置和恢复复杂度,适合前面几项已经无法满足目标模型规模时使用。

处理 NaN 与梯度爆炸

OOM 解决后如果 loss 变成 NaN,不要继续盲目降 batch。先检查首个出现非有限值的 step,并按以下顺序定位:异常样本或无效 label、学习率过高、低精度溢出、梯度爆炸、损失函数输入范围错误。

在支持 BF16 的硬件上,BF16 通常比 FP16 有更大的指数范围;使用 FP16 时应确认动态 loss scaling 没有持续回退。对于偶发梯度尖峰,可以设置梯度裁剪,但裁剪只能限制结果,不能替代对异常数据和过高学习率的定位。

若 NaN 在开启量化或混合精度后才出现,应单独复跑一个短实验,对比相同 seed、相同数据和相同学习率下的非量化或更高精度配置,确认问题来自数值路径而不是数据本身。

判断吞吐为什么下降

显存优化通常有代价。gradient checkpointing 会增加重算,FSDP/ZeRO 会增加通信,过小微批会降低算子利用率,过大的梯度累积则可能让单位 optimizer step 变慢。吞吐下降时,应同时看 GPU 利用率、数据加载等待和多卡通信,而不是只比较显存峰值。

如果 GPU 利用率长期很低而显存并不紧张,优先检查 DataLoader、CPU 预处理、存储吞吐和同步点;如果多卡规模扩大后每卡利用率下降,重点检查 all-reduce 或分片通信是否成为瓶颈。

用复跑结果验收修复

一次修复至少要同时满足三个条件:峰值显存留有安全余量;loss 与梯度范数保持有限且走势合理;吞吐没有下降到不可接受的程度。每次只改一到两个变量,并记录序列长度、微批、累积步数、检查点、量化和分片配置,才能知道是哪一项真正解决了问题。

排查的核心顺序是:先确认 OOM 阶段,再缩短序列和微批,用梯度累积维持有效批,然后用 checkpointing 以计算换显存,最后才引入量化或分片。数值不稳定和吞吐下降必须作为独立信号验证,不能用“没有 OOM”代替训练健康。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

排查 OOM 与训练不稳定

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通