大模型原理与训练 / 知识点

大模型从选型到部署术语速查

准备数据并判断训练状态

多次微批次计算累加梯度后再更新参数的方法;用于理解显存有限时的有效批量,不能替代参数分片,也不会减少单条长序列所需显存。Hugging Face

梯度累积

梯度累积是连续处理多个微批次并保留其梯度,达到指定次数后才执行一次参数更新的方法,用来在单次无法容纳大批量数据时获得更大的有效批量。

边界

梯度累积主要改变一次参数更新包含多少个样本或 token 的梯度,不会让模型参数、优化器状态或单个微批次的激活自动变小。因此,单条序列本身就导致显存不足时,增加累积步数通常无效。

有效批量通常可近似理解为“每设备微批次 × 梯度累积步数 × 数据并行副本数”。这种等价并非无条件成立:损失缩放、梯度裁剪、学习率调度的计步方式以及按 token 归一化方式都可能影响结果。

与其他省显存方法的区别

概念 主要改变什么 能否降低单个微批次的显存压力
梯度累积 多个微批次合成一次参数更新 否,只能把总批量拆开处理
梯度检查点 用额外重算换取更少激活保存 可以降低激活显存
参数分片 将参数、梯度或优化器状态分散到多个设备 可以降低每设备模型状态显存

因此,模型参数本身放不下时,应考虑参数分片、量化等方案,而不是继续提高梯度累积步数。

最小例子

每张设备一次处理 2 个样本,累积 8 次,再使用 4 个数据并行副本,则一次参数更新对应的有效批量是 64 个样本。

python
micro_batch = 2
accumulation_steps = 8
replicas = 4
effective_batch = micro_batch * accumulation_steps * replicas
print(effective_batch)

预期输出

text
64

这个计算只表达批量关系;可变长度序列训练时,每次更新实际包含的 token 数仍可能不同。

常见误解

常见误解是把梯度累积当成通用显存优化。它能避免一次同时放入完整大批量,却不能缩短序列、压缩模型参数或消除单个微批次的显存峰值。

评估效果并识别风险

压缩显存并规划并行

目录与阅读设置

记录一个想法

大模型从选型到部署术语速查

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通