AI 与工程数学 / 系统课时

小批量梯度为何可以替代全量计算

小批量梯度为何可以替代全量计算

训练 AI 模型时,如果每次更新参数都要遍历全部样本,计算成本会随数据规模迅速增加。小批量梯度通过抽取部分样本估计整体下降方向,让模型能够更频繁地更新参数。本篇用公式、数字算例和 Python 实验说明它为什么有效、会产生多大波动,以及如何选择批量大小。

学习目标

  • 理解批量梯度、随机梯度与小批量梯度的计算方式和适用场景。
  • 使用具体数值计算小批量梯度,解释估计误差与波动来源。
  • 通过 Python 实验比较计算开销、梯度波动和参数更新次数。

为什么不必每次计算全部样本

假设训练集包含 NN 个样本,模型参数为 θ\theta,单个样本的损失为 ℓi(θ)\ell_i(\theta)。经验风险定义为:

L(θ)=1N∑i=1Nℓi(θ)L(\theta)=\frac{1}{N}\sum_{i=1}^{N}\ell_i(\theta)

完整梯度需要计算全部样本的梯度并求平均:

∇L(θ)=1N∑i=1N∇ℓi(θ)\nabla L(\theta)=\frac{1}{N}\sum_{i=1}^{N}\nabla\ell_i(\theta)

如果数据集有 100 万条样本,每次完整梯度更新都需要处理这 100 万条数据。即使能够批量并行计算,更新一次参数仍然需要完成整个数据集的梯度累积。

小批量方法从训练集中抽取 BB 个样本,使用它们的平均梯度:

g^(θ)=1B∑i∈B∇ℓi(θ)\hat g(\theta)=\frac{1}{B}\sum_{i\in\mathcal B}\nabla\ell_i(\theta)

其中 B\mathcal B 是当前抽样集合,BB 是批量大小。参数更新公式为:

θt+1=θt−ηg^(θt)\theta_{t+1}=\theta_t-\eta\hat g(\theta_t)

这里 η\eta 是学习率。如果从全部训练样本中均匀随机抽取,小批量平均梯度在固定参数位置上是全量梯度的无偏估计,即 E[g^]=∇L\mathbb E[\hat g]=\nabla L。这不代表每个小批量都与全量梯度一致,而是重复随机抽样后的平均结果一致。

需要注意,无偏性针对固定参数下的抽样过程,不意味着整个随机训练轨迹等同于全量梯度下降。

三种梯度计算方式的实际差异

三种方法使用相同的目标函数,区别在于每次参数更新使用多少样本。

方法 每次更新样本数 主要特点
批量梯度下降 NN 梯度准确、单次更新成本高
随机梯度下降 1 更新频繁、梯度波动通常较大
小批量梯度下降 1<B<N1<B<N 兼顾并行效率和估计稳定性

以 102400 条训练样本为例,假设所有样本每个 Epoch 恰好参与一次训练,且批量整除样本总数:

批量大小 每次更新处理样本数 每个 Epoch 更新次数
1 1 102400
32 32 3200
256 256 400
102400 102400 1

从表中可以看出,小批量训练并没有减少每个完整 Epoch 处理的样本总数,而是改变了梯度计算与参数更新的组织方式。

因此,不能简单地说批量为 32 就让完整训练的计算量下降到原来的三千二百分之一。实际训练速度还受 GPU 并行度、数据加载、内存带宽、算子启动开销和收敛所需更新次数影响。

小批量通常能够利用矩阵运算并行处理多个样本,同时避免每次参数更新都等待全量数据计算完毕。

全量梯度与小批量梯度的计算和更新节奏对比

小批量梯度的误差与波动如何产生

考虑某个参数在固定位置上的 4 个样本梯度:

g1=2,g2=4,g3=6,g4=8g_1=2,\quad g_2=4,\quad g_3=6,\quad g_4=8

全量梯度为:

g=2+4+6+84=5g=\frac{2+4+6+8}{4}=5

如果每次随机选择 2 个不同样本,那么可能得到 6 种小批量平均梯度:

样本组合 平均梯度 与全量梯度之差
2、4 3 -2
2、6 4 -1
2、8 5 0
4、6 5 0
4、8 6 +1
6、8 7 +2

六种结果等概率时,平均估计为 (3+4+5+5+6+7)/6=5(3+4+5+5+6+7)/6=5,与全量梯度一致。但一次抽样可能得到 3,也可能得到 7,因此参数更新方向和幅度会出现随机波动。

对于固定参数位置,若从有限训练集均匀、不放回地抽取 BB 个样本,使用以 N−1N-1 为分母定义的单样本梯度方差 S2S^2,则标量梯度估计的方差为:

Var⁡(g^)=S2B(1−BN)\operatorname{Var}(\hat g)=\frac{S^2}{B}\left(1-\frac{B}{N}\right)

这表明批量增大时,估计方差通常下降;当 B=NB=N 时方差为零。在样本总数远大于批量大小时,梯度估计的标准差近似按 1/B1/\sqrt B 缩小。

例如,将批量从 16 增加到 64,在上述近似条件下,标准差约降为原来的二分之一,而不是四分之一。批量扩大四倍,也不意味着训练效果或执行速度会提高四倍。

随机噪声有时能帮助优化过程离开狭窄区域,但不能保证跳出局部极小值,也不能保证泛化性能更好。过大的波动可能导致训练损失剧烈震荡,尤其在学习率较大时更明显。

用 Python 验证估计无偏和方差下降

下面的实验不需要安装深度学习框架,只依赖 Python 3.10 及以上版本和 NumPy。它固定模型参数位置,反复抽样计算梯度估计,避免把参数移动造成的变化混入抽样噪声。

先安装依赖:

bash
python -m pip install "numpy>=1.24,<3"

预期结果:命令成功退出,NumPy 可以正常导入;安装日志中的版本号和下载信息可能因环境而异。

保存以下代码为 minibatch_demo.py:

python
import numpy as np


def main():
    # 固定参数位置上的四个样本梯度
    gradients = np.array([2.0, 4.0, 6.0, 8.0])
    full_gradient = gradients.mean()
    rng = np.random.default_rng(42)

    print(f"full_gradient={full_gradient:.1f}")

    for batch_size in (1, 2, 4):
        estimates = np.empty(20000)

        # 每次独立进行一次不放回抽样
        for trial in range(len(estimates)):
            indices = rng.choice(
                len(gradients), size=batch_size, replace=False
            )
            estimates[trial] = gradients[indices].mean()

        print(
            f"batch={batch_size}, "
            f"mean={estimates.mean():.2f}, "
            f"std={estimates.std():.2f}"
        )


if __name__ == "__main__":
    main()

执行命令:

bash
python minibatch_demo.py

预期结果:全量梯度恒为 5.0,各种批量的估计均值接近 5.0,标准差随批量增大而下降;固定随机种子可以复现实验,但末位数值可能随 NumPy 实现版本有所差异。标准差的理论值如下:

text
full_gradient=5.0
batch=1: mean 接近 5.00, std 接近 2.24
batch=2: mean 接近 5.00, std 接近 1.29
batch=4: mean 等于 5.00, std 等于 0.00

这些理论标准差对应的是一次随机小批量梯度估计的波动,而不是训练完成后的模型误差。实验中反复抽样 20000 次,是为了统计估计分布,并非要求真实训练每次更新之前重复抽样 20000 次。

实际训练如何选择小批量大小

可以先从批量大小 32 或 64 开始实验,但它们只是常见起点,不是所有模型的最优值。对于显存充足、矩阵运算较大的模型,128、256 或更大批量可能更高效;大型语言模型还常用梯度累积提高有效批量大小。

建议同时监控以下指标:

指标 测量方法 判断方向
吞吐量 每秒处理样本数 越高表示单位时间处理数据越多
单次更新耗时 每个优化器更新的平均时间 与有效批量一起分析
训练损失波动 比较连续更新的损失曲线 关注持续震荡和异常峰值
验证集损失 固定评估集定期测量 判断实际泛化变化
峰值显存 训练期间记录最大占用 必须低于可用显存

例如,某模型在同一设备上测试得到以下假设性数据:批量 32 的吞吐量为 3200 样本/秒,批量 128 为 7200 样本/秒,批量 512 为 7600 样本/秒。如果批量 512 还明显增加显存占用,且验证表现没有改善,那么批量 128 可能更合适。

比较不同批量时应固定模型、数据划分和评估方法。为了避免只比较不同数量的优化器更新,至少同时记录已处理样本数和训练耗时;若要比较收敛效率,则观察达到同一验证指标所需的实际时间。

还需要处理两个常见边界:

  • 最后一个批次可能不足 BB 个样本,计算平均损失时应使用该批次实际样本数。是否丢弃尾批取决于训练设置。
  • 数据按标签或时间排序时,直接连续切分可能造成批次分布偏斜。普通独立同分布训练通常每个 Epoch 打乱样本顺序;时间序列和具有顺序约束的数据则需要专门的采样策略。

小批量梯度能够代替全量梯度参与参数更新,是因为合理的随机采样可以提供整体梯度的统计估计。它用可控的估计波动换取更频繁的参数更新和更灵活的并行计算。最终批量大小应根据吞吐量、显存、收敛速度和验证效果共同确定,而不能只按单次梯度计算量选择。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

小批量梯度为何可以替代全量计算

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通