大模型原理与训练 / 系统课时

排查显存溢出与恢复失败

排查显存溢出与恢复失败

本节解决两类最常见的 nanoGPT 训练中断:训练阶段因显存不足出现 OOM,以及恢复检查点时因设备、配置或字段不一致而失败。完成后,你会有一套固定排查顺序,并能判断该减哪个参数、哪些配置可以改、哪些必须与检查点保持一致。

学习目标

  • 根据报错发生阶段,区分显存峰值问题与检查点恢复问题
  • 用 block_size、微批大小、梯度累积和模型规模控制显存占用
  • 检查设备映射、结构配置和检查点字段,安全恢复训练

先判断错误发生在哪个阶段

不要一看到 CUDA out of memory 就同时修改所有参数。先确认错误发生在首次前向、反向传播,还是 torch.load、load_state_dict、优化器状态恢复阶段。不同阶段对应的根因完全不同。

训练 OOM 通常与单次微批的激活、注意力矩阵、参数和优化器状态有关;恢复失败则更常见于设备变化、模型结构参数不一致、字段缺失或旧检查点的键名不兼容。

nanoGPT OOM 与恢复失败排查流程

按显存峰值决定先改什么

注意力的中间张量会随序列长度快速增长,因此 block_size 增大通常比等比例增加 batch 更容易推高峰值显存。微批大小决定一次前向和反向同时驻留多少样本;n_layer、n_embd 和 n_head 则共同决定参数量与中间激活规模。

梯度累积本身不会降低一次前向的显存峰值。正确用法是先减小微批 batch_size,再提高 gradient_accumulation_steps,尽量保持有效批量不变。单卡时每次参数更新处理的 token 数可近似写成 batch_size × block_size × gradient_accumulation_steps;多卡训练还要再乘 world_size。

建议按下面顺序收缩:

  1. 首先减小微批 batch_size,这是对训练语义影响最小的手段。
  2. 若仍在注意力阶段 OOM,再减小 block_size;这会缩短上下文窗口,需要确认任务可以接受。
  3. 若模型本身放不下,降低 n_layer 或 n_embd,并保持 n_embd 能被 n_head 整除。
  4. 最后再调整评估批量、评估频率或启用混合精度等辅助策略,避免把次要优化当成根因修复。

用脚本检查检查点结构

不同实现可能把恢复步数写成 step 或 iter_num,把结构参数写成 model_args 或 config。下面脚本兼容这两组常见命名,并始终先映射到 CPU,因此即使检查点最初保存在另一块 GPU 上,也能先完成字段与结构检查。

python
import argparse
from pathlib import Path

import torch

parser = argparse.ArgumentParser()
parser.add_argument("--checkpoint", required=True)
args = parser.parse_args()

path = Path(args.checkpoint)
if not path.is_file():
    raise FileNotFoundError(f"checkpoint not found: {path}")

checkpoint = torch.load(path, map_location="cpu")

def pick(*names):
    for name in names:
        if name in checkpoint:
            return name, checkpoint[name]
    raise KeyError(f"none of these fields exist: {names}")

model_key, model_state = pick("model", "model_state_dict")
optimizer_key, _ = pick("optimizer", "optimizer_state_dict")
step_key, step = pick("step", "iter_num")
config_key, saved_config = pick("model_args", "config")

print(f"model field={model_key}")
print(f"optimizer field={optimizer_key}")
print(f"step field={step_key}, value={step}")
print(f"config field={config_key}")
for key in ("block_size", "vocab_size", "n_layer", "n_head", "n_embd"):
    print(f"{key}={saved_config.get(key, '<MISSING>')}")
print(f"model tensors={len(model_state)}")
print("checkpoint validation: OK")

预期输出(字段名和值以实际检查点为准):

text
model field=<MODEL_FIELD>
optimizer field=<OPTIMIZER_FIELD>
step field=<STEP_FIELD>, value=<STEP>
config field=<CONFIG_FIELD>
block_size=<BLOCK_SIZE>
vocab_size=<VOCAB_SIZE>
n_layer=<N_LAYER>
n_head=<N_HEAD>
n_embd=<N_EMBD>
model tensors=<COUNT>
checkpoint validation: OK

如果这里已经抛出字段缺失错误,不要继续猜设备问题,应先确认保存逻辑和检查点版本。

处理设备变化与配置冲突

从 CUDA 机器迁到 CPU、从 cuda:1 换到 cuda:0,加载时都应显式使用 map_location。真正恢复时,顺序应是:读取检查点结构配置、按该结构重新创建模型、加载模型权重、创建优化器并加载优化器状态,最后从保存的 step 继续。

下面是片段示例,假设当前文件已经定义 GPT,且构造函数接受保存下来的结构配置:

python
device = "cuda" if torch.cuda.is_available() else "cpu"
checkpoint = torch.load("out/ckpt.pt", map_location=device)

saved_config = (
    checkpoint["model_args"] if "model_args" in checkpoint else checkpoint["config"]
)
state_dict = (
    checkpoint["model"] if "model" in checkpoint else checkpoint["model_state_dict"]
)

prefix = "_orig_mod."
if state_dict and all(key.startswith(prefix) for key in state_dict):
    state_dict = {key[len(prefix):]: value for key, value in state_dict.items()}

model = GPT(saved_config).to(device)
model.load_state_dict(state_dict)

optimizer = torch.optim.AdamW(model.parameters(), lr=3e-4)
optimizer_state = (
    checkpoint["optimizer"]
    if "optimizer" in checkpoint
    else checkpoint["optimizer_state_dict"]
)
optimizer.load_state_dict(optimizer_state)

start_step = checkpoint.get("step", checkpoint.get("iter_num"))
print(f"resume step={start_step}, device={device}")

预期输出:

text
resume step=<STEP>, device=<DEVICE>

运行时参数与结构参数要分开看。batch_size、梯度累积次数、日志频率通常可以调整;n_layer、n_head、n_embd、vocab_size 必须与权重形状兼容。block_size 若缩短,可以在明确实现了位置嵌入裁剪时处理;若直接把它增大到检查点未训练过的长度,位置嵌入通常会出现尺寸不匹配。

旧检查点还可能带有编译前缀,例如某些权重键以 _orig_mod. 开头。确认它只是统一前缀后再定向移除;不要用 strict=False 静默吞掉大量不匹配,因为那可能让关键层以随机参数继续训练。

修复后如何验证

修复 OOM 后,先用较短训练跑数十个迭代,确认显存峰值稳定且 loss 可以正常反向更新;若只是把梯度累积调高,还要核对一次参数更新对应的有效 token 数是否符合预期。

修复恢复问题后,至少核对三件事:日志中的起始 step 等于检查点保存值,第一轮评估 loss 与中断前同量级,继续训练后 step 单调递增。能同时满足这三点,才说明恢复的是原训练状态,而不是仅仅“把模型权重加载进来了”。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

排查显存溢出与恢复失败

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通