大模型原理与训练 / 系统课时
配置混合精度与梯度累积
配置混合精度与梯度累积
显存不足时,真正需要同时控制的是数值精度、单次前向的微批大小和一次优化更新前累计多少个微批。本节给出可解释的配置顺序,并用 PyTorch 示例把 BF16/FP16、梯度累积与梯度检查点放进同一训练循环中验证。
学习目标
- 根据 GPU 能力在 BF16 与 FP16 之间做出可解释的选择
- 正确计算微批、累积步数和设备数对应的有效 Batch Size
- 用梯度检查点和累积策略降低峰值显存,并验证优化器实际更新次数
先把 Batch Size 算清楚
训练日志中的“Batch Size”经常混用三个概念。micro_batch_size 是单张卡一次前向真正放入的样本数,gradient_accumulation_steps 是累积多少次反向后再更新参数,world_size 是参与数据并行的设备数。
有效 Batch Size 可写成 。例如每卡微批为 2、累积 8 步、4 张卡训练时,每次参数更新等价于处理 64 个样本。若样本序列长度差异很大,还应同时观察“每次更新的 token 数”,因为样本数相同不代表计算量相同。
梯度累积不会减少单个微批的激活显存,它只是让你用更小的微批模拟更大的有效 Batch。若 micro_batch_size=1 仍然 OOM,需要继续减少序列长度、启用梯度检查点、换更低精度,或使用参数与优化器分片。
选择 BF16 还是 FP16
| 选项 | 数值范围与稳定性 | 是否通常需要 GradScaler | 适用建议 |
|---|---|---|---|
| BF16 | 指数范围接近 FP32,溢出风险较低,但有效尾数更少 | 通常不需要 | GPU 原生支持时优先作为训练混合精度 |
| FP16 | 指数范围较窄,更容易出现上溢或下溢 | 通常需要 | 不支持 BF16 的 GPU,或既有训练栈已验证稳定时使用 |
BF16 不是“精度更高的 FP16”,两者是不同权衡。BF16 的优势主要是动态范围大,训练时更省心;FP16 的有效尾数更多,但通常要依靠 loss scaling 避免梯度下溢。最终仍要以目标 GPU 的实际支持和训练稳定性为准。
把显存控制拆成三个旋钮
降低 micro_batch_size 会直接减少单次前向保存的激活,是最先使用的手段,但过小会让 GPU 利用率下降。提高 gradient_accumulation_steps 可以把有效 Batch 补回来,不过优化器更新频率会降低,日志里的 step、学习率调度和评估间隔都要按“优化器步”理解。
梯度检查点则用计算换显存:前向时不保留部分中间激活,反向时再重算。它最适合激活占用成为主要瓶颈的长序列或大模型训练;代价是额外计算,因此不要把它当成没有成本的默认开关。
混合精度主要压缩矩阵运算和部分激活的内存占用。它与梯度累积、梯度检查点解决的是不同层面的问题,三者可以组合,但每个开关都应有独立的验证指标。
用 PyTorch 跑通组合配置
下面示例要求 CUDA 环境。程序自动优先选择 BF16;GPU 不支持 BF16 时回退到 FP16,并只在 FP16 路径启用 GradScaler。模型中的隐藏层通过 checkpoint 重算激活,训练循环每 4 个微批更新一次参数。
import torch
from torch import nn
from torch.amp import autocast, GradScaler
from torch.utils.checkpoint import checkpoint
if not torch.cuda.is_available():
raise RuntimeError("This example requires a CUDA GPU.")
device = "cuda"
use_bf16 = torch.cuda.is_bf16_supported()
amp_dtype = torch.bfloat16 if use_bf16 else torch.float16
precision_name = "bf16" if use_bf16 else "fp16"
micro_batch_size = 2
gradient_accumulation_steps = 4
world_size = 1
num_micro_steps = 8
effective_batch_size = micro_batch_size * gradient_accumulation_steps * world_size
class TinyNet(nn.Module):
def __init__(self):
super().__init__()
self.input = nn.Linear(1024, 2048)
self.block = nn.Sequential(
nn.GELU(),
nn.Linear(2048, 2048),
nn.GELU(),
)
self.output = nn.Linear(2048, 10)
def forward(self, x):
x = self.input(x)
# 非重入 checkpoint 让反向时重算 block,减少需要保存的激活。
x = checkpoint(self.block, x, use_reentrant=False)
return self.output(x)
model = TinyNet().to(device)
optimizer = torch.optim.AdamW(model.parameters(), lr=1e-3)
scaler = GradScaler("cuda", enabled=not use_bf16)
criterion = nn.CrossEntropyLoss()
optimizer.zero_grad(set_to_none=True)
optimizer_steps = 0
torch.cuda.reset_peak_memory_stats()
for step in range(num_micro_steps):
x = torch.randn(micro_batch_size, 1024, device=device)
y = torch.randint(0, 10, (micro_batch_size,), device=device)
with autocast("cuda", dtype=amp_dtype):
logits = model(x)
# 除以累积步数,保证累积后的梯度尺度与大批训练一致。
loss = criterion(logits, y) / gradient_accumulation_steps
scaler.scale(loss).backward()
if (step + 1) % gradient_accumulation_steps == 0:
scaler.step(optimizer)
scaler.update()
optimizer.zero_grad(set_to_none=True)
optimizer_steps += 1
torch.cuda.synchronize()
peak_gb = torch.cuda.max_memory_allocated() / 1024**3
print(f"precision={precision_name}")
print(f"micro_batch_size={micro_batch_size}")
print(f"gradient_accumulation_steps={gradient_accumulation_steps}")
print(f"effective_batch_size={effective_batch_size}")
print(f"optimization_steps={optimizer_steps}")
print(f"peak_memory_gb={peak_gb:.2f}")预期输出
precision=<BF16_OR_FP16>
micro_batch_size=2
gradient_accumulation_steps=4
effective_batch_size=8
optimization_steps=2
peak_memory_gb=<GB><BF16_OR_FP16> 取决于 GPU 是否原生支持 BF16,<GB> 取决于显卡、PyTorch 版本和 CUDA 内存分配器。固定不变的是 8 个微批按每 4 个累积一次,应产生 2 次优化器更新。
用可解释的顺序调参
先在目标 GPU 上确认 BF16 支持;支持时优先尝试 BF16,不支持则使用 FP16 并保留 GradScaler。然后用真实最大序列长度寻找不会 OOM 的 micro_batch_size。如果微批已经很小但仍爆显存,再启用梯度检查点或降低序列长度。
在单次前向能够稳定运行后,再根据目标有效 Batch Size 反推累积步数。多卡训练时把 world_size 纳入公式,同时确认训练框架是否已经自动处理梯度同步与 loss 缩放,避免重复除以设备数或累积步数。
最终验收应同时满足三件事:峰值显存留有安全余量,优化器更新次数与公式一致,loss 在数百个更新步内没有持续出现 NaN/Inf。只有这三项都成立,混合精度和梯度累积才算真正“配置完成”,而不是仅仅让训练进程启动。