大模型原理与训练 / 系统课时
算清多卡下的全局 Batch
算清多卡下的全局 Batch
多卡训练最容易算错的不是显存,而是一次参数更新究竟消费了多少样本和 Token。这一节把 micro batch、梯度累积步数、GPU 数量和序列长度统一到同一个公式里,并用一个小程序核对结果,避免扩卡后学习率和训练步数悄悄失真。
学习目标
- 区分每张 GPU 的 micro batch 与一次参数更新对应的全局 batch。
- 根据 micro batch、累积步数、
world_size和序列长度计算每次更新的 Token 数。 - 识别“扩卡后又重复放大累积步数”这类常见双重计数错误。
先固定四个量
设每个进程每次 forward/backward 处理 micro_batch_size 条序列,连续累积 gradient_accumulation_steps 次梯度,再执行一次 optimizer.step()。DDP 的 world_size 表示参与训练的进程数,通常单机时等于 GPU 数量;每条序列固定长度为 sequence_length。
那么一次参数更新实际覆盖的序列数是:
global_batch_sequences = micro_batch_size × gradient_accumulation_steps × world_size
如果每条序列都使用完整固定长度,则每次更新消费的 Token 数是:
tokens_per_update = global_batch_sequences × sequence_length
这里的“全局”指所有 rank 合起来的量。某个 rank 本地看到的 batch 不能再乘一次 GPU 数,否则会重复计数。
用具体数字核对
假设每张 GPU 的 micro batch 是 12,单个进程累积 5 次梯度,共 4 张 GPU,序列长度为 1024。下面的程序直接计算一次参数更新覆盖的序列数与 Token 数。
micro_batch_size = 12
gradient_accumulation_steps = 5
world_size = 4
sequence_length = 1024
global_batch_sequences = (
micro_batch_size
* gradient_accumulation_steps
* world_size
)
tokens_per_update = global_batch_sequences * sequence_length
print(f'global_batch_sequences={global_batch_sequences}')
print(f'tokens_per_update={tokens_per_update}')预期输出
global_batch_sequences=240
tokens_per_update=245760这表示每个 rank 本地一次 forward 只处理 12 条序列,但一次真正的参数更新合并了 4 个 rank、每个 rank 5 个 micro step 的梯度,因此等价于 240 条序列、245760 个固定长度 Token。
扩卡时别把累积步数再放大一次
如果单卡配置为 micro_batch_size=12、累积 20 次,那么全局 batch 是 240 条序列。扩到 4 张 GPU 后,如果目标是保持全局 batch 不变,本地累积步数应降到 5,而不是继续使用 20。继续使用 20 会把全局 batch 放大到 960 条序列。
在一些 nanoGPT 配置中,gradient_accumulation_steps 表达的是“目标总累积次数”,进入 DDP 后会按 world_size 再折算成本地累积次数。采用这种约定时,要保证配置值能被 world_size 整除,并明确变量记录的是全局量还是每个 rank 的本地量。
一个可靠的检查方法是先写出目标 Token 批次,再反推本地累积步数:
local_accumulation = target_tokens_per_update ÷ (micro_batch_size × sequence_length × world_size)
只有结果为正整数时,固定 micro batch 和固定序列长度下才能精确命中该目标;否则需要调整 micro batch、序列长度或目标 Token 数。
变长序列要按有效 Token 统计
前面的乘法成立于每条序列都固定为 sequence_length 且所有位置都参与训练。若 batch 中存在 padding、动态裁剪或不同长度样本,batch_size × sequence_length 只是张量容量,不一定等于真正参与损失计算的 Token 数。
这时更准确的统计方法是对每个 micro step 的有效 Token 数求和,再跨全部 rank 与累积步数汇总。尤其当学习率调度、吞吐指标或训练预算按 Token 驱动时,应区分“填充后的张量 Token”与“参与 loss 的有效 Token”。
只要始终明确变量是“每个 rank 的本地量”还是“所有 rank 的全局量”,多卡 Batch 的推导就不会混乱:先乘本地 micro batch 与累积步数,再乘 world_size,最后在需要时乘序列长度得到每次更新的 Token 数。