AI 与工程数学 / 系统课时

用 Batch Size 权衡噪声与吞吐

用 Batch Size 权衡噪声与吞吐

同一个回归模型,Batch Size 从 8 增加到 256,梯度可能更稳定,但每次参数更新也要处理更多样本。本文用可运行的 PyTorch 实验测量梯度噪声、更新次数和训练吞吐量,帮助你根据实际结果选择批量大小,而不是简单认为越大越快。

学习目标

  • 理解批量大小对梯度波动、更新频率和计算效率的影响。
  • 使用固定数据集比较不同 Batch Size 的梯度噪声与样本吞吐量。
  • 根据实验结果确定批量大小,并识别大批量训练的常见误区。

Batch Size 改变了什么

Batch Size 是一次梯度更新所使用的样本数。假设训练集有 4096 条样本,分别使用 8、32、128、256 的批量大小,完整遍历一次数据(一个 Epoch)所需的更新次数如下。

Batch Size 每轮更新次数 每次处理样本数
8 512 8
32 128 32
128 32 128
256 16 256

在训练集大小固定、每轮不丢弃尾批次的情况下,更新次数为 ceil(样本数 / Batch Size)。表中各批量大小都能整除 4096,因此没有尾批次。

小批量的梯度容易随抽到的样本变化,但每轮参数更新更频繁。大批量通常能降低梯度估计的随机波动,也更容易利用 GPU 并行能力,但单次更新处理的数据更多,占用的激活内存也更大。

对于独立同分布样本,如果各样本梯度的方差有限且彼此独立,小批量平均梯度的方差满足:

Var(gB)=σ2B\mathrm{Var}(g_B)=\frac{\sigma^2}{B}

这里的 BB 是 Batch Size,σ2\sigma^2 是单样本梯度的方差。该关系描述的是固定参数位置处的梯度采样噪声,不保证最终测试误差随批量大小单调变化。

实际训练中,梯度均值、样本相关性、优化器和学习率都会影响结果。尤其不能把较小的梯度方差直接等同于较快收敛。

搭建可重复的回归实验

使用 PyTorch 2.x、NumPy 和 CPU 即可完成实验。先在 Python 3.10 或更新版本的环境中安装依赖:

bash
python -m pip install torch numpy

预期结果:命令正常结束,未出现安装错误;不同平台和环境解析出的依赖版本可能不同。可用 python -m pip show torch numpy 查看实际安装版本。

实验构造 4096 条一维线性回归数据,真实关系为 y=3x+2+ϵy=3x+2+\epsilon,其中噪声标准差为 0.5。模型使用一个 Linear(1, 1) 层,损失函数为均方误差,优化器使用普通 SGD。

为避免把训练轨迹差异误认为批量大小带来的梯度噪声差异,实验分成两个部分:

  1. 在相同的初始参数位置,反复抽取不同批次,测量梯度波动。
  2. 分别训练相同的 20 个 Epoch,记录参数更新次数、吞吐量及最终损失。

测量梯度方差时,各批次都从完整训练集独立随机采样,批次内允许重复抽到同一样本;训练时则采用每轮打乱且不放回的遍历方式。因此两部分分别反映固定参数点的采样噪声和正常训练过程的性能。

运行不同批量大小的对照实验

将以下代码保存为 batch_size_experiment.py。脚本固定随机种子,所有模型使用相同的初始参数,并在单线程 CPU 上执行,减少多线程调度对短任务计时的干扰。

python
import copy
import time
import numpy as np
import torch
from torch import nn
from torch.utils.data import DataLoader, TensorDataset

SEED = 42
SIZES = [8, 32, 128, 256]
EPOCHS = 20
LR = 0.03

torch.manual_seed(SEED)
torch.set_num_threads(1)

# 固定数据和初始参数,保证不同批量之间可比较
x = torch.randn(4096, 1)
y = 3 * x + 2 + 0.5 * torch.randn_like(x)
dataset = TensorDataset(x, y)
base = nn.Linear(1, 1)
initial = copy.deepcopy(base.state_dict())
loss_fn = nn.MSELoss()


def gradient_variance(batch_size, trials=200):
    model = nn.Linear(1, 1)
    model.load_state_dict(initial)
    samples = []
    rng = torch.Generator().manual_seed(SEED)

    # 所有梯度都在同一参数位置计算,不执行优化器更新
    for _ in range(trials):
        ids = torch.randint(len(x), (batch_size,), generator=rng)
        model.zero_grad()
        loss_fn(model(x[ids]), y[ids]).backward()
        grad = torch.cat([p.grad.flatten() for p in model.parameters()])
        samples.append(grad.detach().clone())

    grads = torch.stack(samples).numpy()
    return float(np.var(grads, axis=0, ddof=1).mean())


def train(batch_size):
    model = nn.Linear(1, 1)
    model.load_state_dict(initial)
    optimizer = torch.optim.SGD(model.parameters(), lr=LR)
    loader = DataLoader(dataset, batch_size=batch_size, shuffle=True,
                        generator=torch.Generator().manual_seed(SEED))
    updates = 0

    start = time.perf_counter()
    for _ in range(EPOCHS):
        for xb, yb in loader:
            optimizer.zero_grad()
            loss = loss_fn(model(xb), yb)
            loss.backward()
            optimizer.step()
            updates += 1
    elapsed = time.perf_counter() - start

    with torch.no_grad():
        final_loss = loss_fn(model(x), y).item()
    throughput = len(dataset) * EPOCHS / elapsed
    return updates, throughput, final_loss


if __name__ == "__main__":
    for size in SIZES:
        variance = gradient_variance(size)
        updates, speed, loss = train(size)
        print(f"B={size:3d} variance={variance:.4f} "
              f"updates={updates:5d} samples/s={speed:.0f} "
              f"loss={loss:.4f}")

执行:

bash
python batch_size_experiment.py

预期输出:程序打印四行结果,其中 updates 应严格等于下表数值;方差、吞吐量和损失由运行环境及实际计算决定,不应预先固定。

B updates 应观察的现象
8 10240 梯度波动较大,更新开销较多
32 2560 波动通常下降
128 640 波动进一步下降
256 320 波动通常最小,但收敛结果仍需检查

variance 是两个参数的样本梯度方差均值;samples/s 表示训练期间每秒处理的样本数;loss 是在全部 4096 条训练样本上计算的最终均方误差。吞吐量越高表示单位时间处理的样本越多,不代表达到指定损失所需时间必然更短。

从结果判断噪声和吞吐的取舍

首先检查 variance 是否随 Batch Size 增大总体下降。对于这组独立采样的固定线性回归数据,通常会看到下降趋势,但由于每组只测量 200 次,测量值并不保证严格按 1/B1/B 排列。

然后比较处理速度。假设某台机器实际测得以下数据,这只是用于演示计算的假设结果,不是上述代码的保证输出:

B 样本吞吐量 每轮更新次数 20 轮训练时间估算
8 12000 样本/秒 512 6.83 秒
32 32000 样本/秒 128 2.56 秒
128 50000 样本/秒 32 1.64 秒
256 54000 样本/秒 16 1.52 秒

从 128 增大到 256,吞吐量仅提高 8%,但每轮参数更新次数减半。如果目标是在规定时间内尽快降低验证损失,应该进一步比较到达目标损失的耗时,而不能只根据这张表选择 256。

实践中可以设定验证集目标,例如 val_mse <= 0.30,对每个 Batch Size 使用相同的数据划分,记录首次达到目标的实际时间。若某种配置始终达不到目标,应标记为未达标,而不是拿最终训练损失代替验证损失。

还要区分两种公平比较方式:

  • 固定 Epoch:每种配置看到大致相同数量的样本,但更新次数不同。
  • 固定更新步数:更新次数相同,但大批量处理的样本更多。

如果要评价训练成本和收敛速度,建议同时报告已处理样本数、优化器更新次数和耗时。

如何为真实训练选择 Batch Size

一个可执行的选择方法是从 32 开始,按 32、64、128、256 逐步测试。每种配置保持数据划分、模型结构、优化器和初始学习率一致,记录峰值显存、样本吞吐、验证损失以及达到目标损失所需时间。

对于 GPU 训练,Batch Size 太小可能导致并行计算利用率不足;太大则可能出现显存不足,或吞吐提升逐渐趋于平缓。实际最优值还受到模型层结构和数据形状的影响。

初始对照时不要同时修改 Batch Size 和学习率,否则无法判断变化来自哪一个因素。确定批量范围后,再单独实验学习率。线性放大学习率有时可用于大批量训练,但它不是对所有优化器和模型都适用的规则。

最后做一个检查:选取实验中的 B=32 和 B=128,分别运行三次并比较验证损失和吞吐量。若 B=128 的吞吐更高,但到达验证目标的时间反而更长,说明减少梯度噪声和提高数据处理效率没有转化为更快的优化收敛。选择 Batch Size 时,应优先使用与业务目标对应的指标:固定预算下的验证质量,或者达到目标质量所需的总时间。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用 Batch Size 权衡噪声与吞吐

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通