大模型原理与训练 / 系统课时

配置混合精度与梯度累积

配置混合精度与梯度累积

显存不足时,真正需要同时控制的是数值精度、单次前向的微批大小和一次优化更新前累计多少个微批。本节给出可解释的配置顺序,并用 PyTorch 示例把 BF16/FP16、梯度累积与梯度检查点放进同一训练循环中验证。

学习目标

  • 根据 GPU 能力在 BF16 与 FP16 之间做出可解释的选择
  • 正确计算微批、累积步数和设备数对应的有效 Batch Size
  • 用梯度检查点和累积策略降低峰值显存,并验证优化器实际更新次数

先把 Batch Size 算清楚

训练日志中的“Batch Size”经常混用三个概念。micro_batch_size 是单张卡一次前向真正放入的样本数,gradient_accumulation_steps 是累积多少次反向后再更新参数,world_size 是参与数据并行的设备数。

有效 Batch Size 可写成 Beffective=Bmicro×Naccum×NdevicesB_effective = B_micro × N_accum × N_devices。例如每卡微批为 2、累积 8 步、4 张卡训练时,每次参数更新等价于处理 64 个样本。若样本序列长度差异很大,还应同时观察“每次更新的 token 数”,因为样本数相同不代表计算量相同。

梯度累积不会减少单个微批的激活显存,它只是让你用更小的微批模拟更大的有效 Batch。若 micro_batch_size=1 仍然 OOM,需要继续减少序列长度、启用梯度检查点、换更低精度,或使用参数与优化器分片。

选择 BF16 还是 FP16

选项 数值范围与稳定性 是否通常需要 GradScaler 适用建议
BF16 指数范围接近 FP32,溢出风险较低,但有效尾数更少 通常不需要 GPU 原生支持时优先作为训练混合精度
FP16 指数范围较窄,更容易出现上溢或下溢 通常需要 不支持 BF16 的 GPU,或既有训练栈已验证稳定时使用

BF16 不是“精度更高的 FP16”,两者是不同权衡。BF16 的优势主要是动态范围大,训练时更省心;FP16 的有效尾数更多,但通常要依靠 loss scaling 避免梯度下溢。最终仍要以目标 GPU 的实际支持和训练稳定性为准。

把显存控制拆成三个旋钮

降低 micro_batch_size 会直接减少单次前向保存的激活,是最先使用的手段,但过小会让 GPU 利用率下降。提高 gradient_accumulation_steps 可以把有效 Batch 补回来,不过优化器更新频率会降低,日志里的 step、学习率调度和评估间隔都要按“优化器步”理解。

梯度检查点则用计算换显存:前向时不保留部分中间激活,反向时再重算。它最适合激活占用成为主要瓶颈的长序列或大模型训练;代价是额外计算,因此不要把它当成没有成本的默认开关。

混合精度主要压缩矩阵运算和部分激活的内存占用。它与梯度累积、梯度检查点解决的是不同层面的问题,三者可以组合,但每个开关都应有独立的验证指标。

用 PyTorch 跑通组合配置

下面示例要求 CUDA 环境。程序自动优先选择 BF16;GPU 不支持 BF16 时回退到 FP16,并只在 FP16 路径启用 GradScaler。模型中的隐藏层通过 checkpoint 重算激活,训练循环每 4 个微批更新一次参数。

python
import torch
from torch import nn
from torch.amp import autocast, GradScaler
from torch.utils.checkpoint import checkpoint

if not torch.cuda.is_available():
    raise RuntimeError("This example requires a CUDA GPU.")

device = "cuda"
use_bf16 = torch.cuda.is_bf16_supported()
amp_dtype = torch.bfloat16 if use_bf16 else torch.float16
precision_name = "bf16" if use_bf16 else "fp16"

micro_batch_size = 2
gradient_accumulation_steps = 4
world_size = 1
num_micro_steps = 8
effective_batch_size = micro_batch_size * gradient_accumulation_steps * world_size

class TinyNet(nn.Module):
    def __init__(self):
        super().__init__()
        self.input = nn.Linear(1024, 2048)
        self.block = nn.Sequential(
            nn.GELU(),
            nn.Linear(2048, 2048),
            nn.GELU(),
        )
        self.output = nn.Linear(2048, 10)

    def forward(self, x):
        x = self.input(x)
        # 非重入 checkpoint 让反向时重算 block,减少需要保存的激活。
        x = checkpoint(self.block, x, use_reentrant=False)
        return self.output(x)

model = TinyNet().to(device)
optimizer = torch.optim.AdamW(model.parameters(), lr=1e-3)
scaler = GradScaler("cuda", enabled=not use_bf16)
criterion = nn.CrossEntropyLoss()

optimizer.zero_grad(set_to_none=True)
optimizer_steps = 0
torch.cuda.reset_peak_memory_stats()

for step in range(num_micro_steps):
    x = torch.randn(micro_batch_size, 1024, device=device)
    y = torch.randint(0, 10, (micro_batch_size,), device=device)

    with autocast("cuda", dtype=amp_dtype):
        logits = model(x)
        # 除以累积步数,保证累积后的梯度尺度与大批训练一致。
        loss = criterion(logits, y) / gradient_accumulation_steps

    scaler.scale(loss).backward()

    if (step + 1) % gradient_accumulation_steps == 0:
        scaler.step(optimizer)
        scaler.update()
        optimizer.zero_grad(set_to_none=True)
        optimizer_steps += 1

torch.cuda.synchronize()
peak_gb = torch.cuda.max_memory_allocated() / 1024**3

print(f"precision={precision_name}")
print(f"micro_batch_size={micro_batch_size}")
print(f"gradient_accumulation_steps={gradient_accumulation_steps}")
print(f"effective_batch_size={effective_batch_size}")
print(f"optimization_steps={optimizer_steps}")
print(f"peak_memory_gb={peak_gb:.2f}")

预期输出

text
precision=<BF16_OR_FP16>
micro_batch_size=2
gradient_accumulation_steps=4
effective_batch_size=8
optimization_steps=2
peak_memory_gb=<GB>

<BF16_OR_FP16> 取决于 GPU 是否原生支持 BF16,<GB> 取决于显卡、PyTorch 版本和 CUDA 内存分配器。固定不变的是 8 个微批按每 4 个累积一次,应产生 2 次优化器更新。

用可解释的顺序调参

先在目标 GPU 上确认 BF16 支持;支持时优先尝试 BF16,不支持则使用 FP16 并保留 GradScaler。然后用真实最大序列长度寻找不会 OOM 的 micro_batch_size。如果微批已经很小但仍爆显存,再启用梯度检查点或降低序列长度。

在单次前向能够稳定运行后,再根据目标有效 Batch Size 反推累积步数。多卡训练时把 world_size 纳入公式,同时确认训练框架是否已经自动处理梯度同步与 loss 缩放,避免重复除以设备数或累积步数。

最终验收应同时满足三件事:峰值显存留有安全余量,优化器更新次数与公式一致,loss 在数百个更新步内没有持续出现 NaN/Inf。只有这三项都成立,混合精度和梯度累积才算真正“配置完成”,而不是仅仅让训练进程启动。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

配置混合精度与梯度累积

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通