大模型原理与训练 / 系统课时

算清多卡下的全局 Batch

算清多卡下的全局 Batch

多卡训练最容易算错的不是显存,而是一次参数更新究竟消费了多少样本和 Token。这一节把 micro batch、梯度累积步数、GPU 数量和序列长度统一到同一个公式里,并用一个小程序核对结果,避免扩卡后学习率和训练步数悄悄失真。

学习目标

  • 区分每张 GPU 的 micro batch 与一次参数更新对应的全局 batch。
  • 根据 micro batch、累积步数、world_size 和序列长度计算每次更新的 Token 数。
  • 识别“扩卡后又重复放大累积步数”这类常见双重计数错误。

先固定四个量

设每个进程每次 forward/backward 处理 micro_batch_size 条序列,连续累积 gradient_accumulation_steps 次梯度,再执行一次 optimizer.step()。DDP 的 world_size 表示参与训练的进程数,通常单机时等于 GPU 数量;每条序列固定长度为 sequence_length。

那么一次参数更新实际覆盖的序列数是:

global_batch_sequences = micro_batch_size × gradient_accumulation_steps × world_size

如果每条序列都使用完整固定长度,则每次更新消费的 Token 数是:

tokens_per_update = global_batch_sequences × sequence_length

这里的“全局”指所有 rank 合起来的量。某个 rank 本地看到的 batch 不能再乘一次 GPU 数,否则会重复计数。

用具体数字核对

假设每张 GPU 的 micro batch 是 12,单个进程累积 5 次梯度,共 4 张 GPU,序列长度为 1024。下面的程序直接计算一次参数更新覆盖的序列数与 Token 数。

python
micro_batch_size = 12
gradient_accumulation_steps = 5
world_size = 4
sequence_length = 1024

global_batch_sequences = (
    micro_batch_size
    * gradient_accumulation_steps
    * world_size
)
tokens_per_update = global_batch_sequences * sequence_length

print(f'global_batch_sequences={global_batch_sequences}')
print(f'tokens_per_update={tokens_per_update}')

预期输出

text
global_batch_sequences=240
tokens_per_update=245760

这表示每个 rank 本地一次 forward 只处理 12 条序列,但一次真正的参数更新合并了 4 个 rank、每个 rank 5 个 micro step 的梯度,因此等价于 240 条序列、245760 个固定长度 Token。

扩卡时别把累积步数再放大一次

如果单卡配置为 micro_batch_size=12、累积 20 次,那么全局 batch 是 240 条序列。扩到 4 张 GPU 后,如果目标是保持全局 batch 不变,本地累积步数应降到 5,而不是继续使用 20。继续使用 20 会把全局 batch 放大到 960 条序列。

在一些 nanoGPT 配置中,gradient_accumulation_steps 表达的是“目标总累积次数”,进入 DDP 后会按 world_size 再折算成本地累积次数。采用这种约定时,要保证配置值能被 world_size 整除,并明确变量记录的是全局量还是每个 rank 的本地量。

一个可靠的检查方法是先写出目标 Token 批次,再反推本地累积步数:

local_accumulation = target_tokens_per_update ÷ (micro_batch_size × sequence_length × world_size)

只有结果为正整数时,固定 micro batch 和固定序列长度下才能精确命中该目标;否则需要调整 micro batch、序列长度或目标 Token 数。

变长序列要按有效 Token 统计

前面的乘法成立于每条序列都固定为 sequence_length 且所有位置都参与训练。若 batch 中存在 padding、动态裁剪或不同长度样本,batch_size × sequence_length 只是张量容量,不一定等于真正参与损失计算的 Token 数。

这时更准确的统计方法是对每个 micro step 的有效 Token 数求和,再跨全部 rank 与累积步数汇总。尤其当学习率调度、吞吐指标或训练预算按 Token 驱动时,应区分“填充后的张量 Token”与“参与 loss 的有效 Token”。

只要始终明确变量是“每个 rank 的本地量”还是“所有 rank 的全局量”,多卡 Batch 的推导就不会混乱:先乘本地 micro batch 与累积步数,再乘 world_size,最后在需要时乘序列长度得到每次更新的 Token 数。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

算清多卡下的全局 Batch

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通