高等数学 / 系统课时

批量与随机梯度

批量与随机梯度

训练模型时,梯度可以由全部样本、单个样本或一小批样本估计。三种方式得到的方向并不总是相同,本课将从计算成本、噪声和收敛表现出发,说明它们各自适合什么场景,并用一次完整训练轮次观察差异。

学习目标

  • 区分批量梯度、随机梯度和小批量梯度的计算方式
  • 理解梯度噪声、更新频率与收敛稳定性的关系
  • 能根据数据规模和硬件条件选择合适的批量大小

三种梯度如何产生

设训练集共有 NN 个样本,单个样本损失为 Li(θ)L_i(\theta)。批量梯度使用全部样本计算平均值:

g=1N∑i=1N∇Li(θ)g=\frac{1}{N}\sum_{i=1}^{N}\nabla L_i(\theta)

单样本更新使用一个样本的梯度,小批量更新使用一批样本梯度的平均。固定参数并均匀抽样时,单样本或小批量的梯度期望等于全批量梯度。非均匀采样、带权样本和不同数据分布需要另行检查估计的目标。

批量、随机与小批量梯度的数据使用方式

计算成本、噪声与收敛

方法 每次使用样本数 单次计算成本 梯度噪声 典型特点
批量梯度 NN 高 对固定数据无抽样噪声 方向稳定,但大数据集上更新慢
随机梯度 11 低 高 更新频繁,可跳出浅平区域,但轨迹抖动明显
小批量梯度 BB 中 中 兼顾并行效率与稳定性,是深度学习的常用选择

“噪声大”不等于算法错误。随机估计虽然会偏离真实批量梯度,但随机性会造成实际更新和全批量更新不同。即使估计无偏,给定一步也可能让全批量损失增加。噪声能否帮助离开鞍点取决于它在相关方向上的分量。

用一轮更新观察差异

下面用线性模型 y^=θx\hat y=\theta x 拟合 y=2xy=2x。三种方法都按固定顺序遍历一次数据。本例用单样本更新演示 SGD 的更新粒度,实际训练可在每轮前打乱样本顺序。这里批量梯度更新 1 次,随机梯度更新 4 次,小批量梯度更新 2 次,因此结果不能只按“是否更接近 2”简单判断。

python
x = [1.0, 2.0, 3.0, 4.0]
y = [2.0, 4.0, 6.0, 8.0]
learning_rate = 0.05

def gradient(theta, xs, ys):
    # 均方误差对参数 theta 的平均梯度
    total = sum(2 * (theta * xi - yi) * xi for xi, yi in zip(xs, ys))
    return total / len(xs)

def train(mode):
    theta = 0.0

    if mode == "batch":
        theta -= learning_rate * gradient(theta, x, y)
    elif mode == "stochastic":
        for xi, yi in zip(x, y):
            theta -= learning_rate * gradient(theta, [xi], [yi])
    elif mode == "mini_batch":
        for start in range(0, len(x), 2):
            theta -= learning_rate * gradient(
                theta,
                x[start:start + 2],
                y[start:start + 2]
            )
    else:
        raise ValueError("unknown mode")

    return theta

for name in ("batch", "stochastic", "mini_batch"):
    print(f"{name}: {train(name):.4f}")

预期输出

text
batch: 1.5000
stochastic: 2.0648
mini_batch: 2.3750

同一轮数据访问下,更新次数、分批方式和数据顺序共同影响结果。后续更新所用的梯度在新的参数位置计算,无法把它们直接等同于一个全批量更新。比较优化方法时,应同时观察损失曲线、总计算量、更新次数和最终泛化效果,而不是只比较某一步参数。

如何选择批量大小

数据量较小、目标函数平滑时,批量梯度便于稳定分析。在线学习或数据持续到达时,随机梯度能立即更新。大多数神经网络训练优先采用小批量,并选择能充分利用 GPU、又不会造成显存不足的批量大小。

批量增大后,梯度通常更稳定,但每轮参数更新次数减少;批量过小则可能导致损失剧烈波动。实际训练中应把批量大小与学习率一起调节,而不是单独修改其中一个参数。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

批量与随机梯度

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通