AI 与工程数学 / 系统课时
用 Batch Size 权衡噪声与吞吐
用 Batch Size 权衡噪声与吞吐
同一个回归模型,Batch Size 从 8 增加到 256,梯度可能更稳定,但每次参数更新也要处理更多样本。本文用可运行的 PyTorch 实验测量梯度噪声、更新次数和训练吞吐量,帮助你根据实际结果选择批量大小,而不是简单认为越大越快。
学习目标
- 理解批量大小对梯度波动、更新频率和计算效率的影响。
- 使用固定数据集比较不同 Batch Size 的梯度噪声与样本吞吐量。
- 根据实验结果确定批量大小,并识别大批量训练的常见误区。
Batch Size 改变了什么
Batch Size 是一次梯度更新所使用的样本数。假设训练集有 4096 条样本,分别使用 8、32、128、256 的批量大小,完整遍历一次数据(一个 Epoch)所需的更新次数如下。
| Batch Size | 每轮更新次数 | 每次处理样本数 |
|---|---|---|
| 8 | 512 | 8 |
| 32 | 128 | 32 |
| 128 | 32 | 128 |
| 256 | 16 | 256 |
在训练集大小固定、每轮不丢弃尾批次的情况下,更新次数为 ceil(样本数 / Batch Size)。表中各批量大小都能整除 4096,因此没有尾批次。
小批量的梯度容易随抽到的样本变化,但每轮参数更新更频繁。大批量通常能降低梯度估计的随机波动,也更容易利用 GPU 并行能力,但单次更新处理的数据更多,占用的激活内存也更大。
对于独立同分布样本,如果各样本梯度的方差有限且彼此独立,小批量平均梯度的方差满足:
这里的 是 Batch Size, 是单样本梯度的方差。该关系描述的是固定参数位置处的梯度采样噪声,不保证最终测试误差随批量大小单调变化。
实际训练中,梯度均值、样本相关性、优化器和学习率都会影响结果。尤其不能把较小的梯度方差直接等同于较快收敛。
搭建可重复的回归实验
使用 PyTorch 2.x、NumPy 和 CPU 即可完成实验。先在 Python 3.10 或更新版本的环境中安装依赖:
python -m pip install torch numpy预期结果:命令正常结束,未出现安装错误;不同平台和环境解析出的依赖版本可能不同。可用 python -m pip show torch numpy 查看实际安装版本。
实验构造 4096 条一维线性回归数据,真实关系为 ,其中噪声标准差为 0.5。模型使用一个 Linear(1, 1) 层,损失函数为均方误差,优化器使用普通 SGD。
为避免把训练轨迹差异误认为批量大小带来的梯度噪声差异,实验分成两个部分:
- 在相同的初始参数位置,反复抽取不同批次,测量梯度波动。
- 分别训练相同的 20 个 Epoch,记录参数更新次数、吞吐量及最终损失。
测量梯度方差时,各批次都从完整训练集独立随机采样,批次内允许重复抽到同一样本;训练时则采用每轮打乱且不放回的遍历方式。因此两部分分别反映固定参数点的采样噪声和正常训练过程的性能。
运行不同批量大小的对照实验
将以下代码保存为 batch_size_experiment.py。脚本固定随机种子,所有模型使用相同的初始参数,并在单线程 CPU 上执行,减少多线程调度对短任务计时的干扰。
import copy
import time
import numpy as np
import torch
from torch import nn
from torch.utils.data import DataLoader, TensorDataset
SEED = 42
SIZES = [8, 32, 128, 256]
EPOCHS = 20
LR = 0.03
torch.manual_seed(SEED)
torch.set_num_threads(1)
# 固定数据和初始参数,保证不同批量之间可比较
x = torch.randn(4096, 1)
y = 3 * x + 2 + 0.5 * torch.randn_like(x)
dataset = TensorDataset(x, y)
base = nn.Linear(1, 1)
initial = copy.deepcopy(base.state_dict())
loss_fn = nn.MSELoss()
def gradient_variance(batch_size, trials=200):
model = nn.Linear(1, 1)
model.load_state_dict(initial)
samples = []
rng = torch.Generator().manual_seed(SEED)
# 所有梯度都在同一参数位置计算,不执行优化器更新
for _ in range(trials):
ids = torch.randint(len(x), (batch_size,), generator=rng)
model.zero_grad()
loss_fn(model(x[ids]), y[ids]).backward()
grad = torch.cat([p.grad.flatten() for p in model.parameters()])
samples.append(grad.detach().clone())
grads = torch.stack(samples).numpy()
return float(np.var(grads, axis=0, ddof=1).mean())
def train(batch_size):
model = nn.Linear(1, 1)
model.load_state_dict(initial)
optimizer = torch.optim.SGD(model.parameters(), lr=LR)
loader = DataLoader(dataset, batch_size=batch_size, shuffle=True,
generator=torch.Generator().manual_seed(SEED))
updates = 0
start = time.perf_counter()
for _ in range(EPOCHS):
for xb, yb in loader:
optimizer.zero_grad()
loss = loss_fn(model(xb), yb)
loss.backward()
optimizer.step()
updates += 1
elapsed = time.perf_counter() - start
with torch.no_grad():
final_loss = loss_fn(model(x), y).item()
throughput = len(dataset) * EPOCHS / elapsed
return updates, throughput, final_loss
if __name__ == "__main__":
for size in SIZES:
variance = gradient_variance(size)
updates, speed, loss = train(size)
print(f"B={size:3d} variance={variance:.4f} "
f"updates={updates:5d} samples/s={speed:.0f} "
f"loss={loss:.4f}")执行:
python batch_size_experiment.py预期输出:程序打印四行结果,其中 updates 应严格等于下表数值;方差、吞吐量和损失由运行环境及实际计算决定,不应预先固定。
| B | updates | 应观察的现象 |
|---|---|---|
| 8 | 10240 | 梯度波动较大,更新开销较多 |
| 32 | 2560 | 波动通常下降 |
| 128 | 640 | 波动进一步下降 |
| 256 | 320 | 波动通常最小,但收敛结果仍需检查 |
variance 是两个参数的样本梯度方差均值;samples/s 表示训练期间每秒处理的样本数;loss 是在全部 4096 条训练样本上计算的最终均方误差。吞吐量越高表示单位时间处理的样本越多,不代表达到指定损失所需时间必然更短。
从结果判断噪声和吞吐的取舍
首先检查 variance 是否随 Batch Size 增大总体下降。对于这组独立采样的固定线性回归数据,通常会看到下降趋势,但由于每组只测量 200 次,测量值并不保证严格按 排列。
然后比较处理速度。假设某台机器实际测得以下数据,这只是用于演示计算的假设结果,不是上述代码的保证输出:
| B | 样本吞吐量 | 每轮更新次数 | 20 轮训练时间估算 |
|---|---|---|---|
| 8 | 12000 样本/秒 | 512 | 6.83 秒 |
| 32 | 32000 样本/秒 | 128 | 2.56 秒 |
| 128 | 50000 样本/秒 | 32 | 1.64 秒 |
| 256 | 54000 样本/秒 | 16 | 1.52 秒 |
从 128 增大到 256,吞吐量仅提高 8%,但每轮参数更新次数减半。如果目标是在规定时间内尽快降低验证损失,应该进一步比较到达目标损失的耗时,而不能只根据这张表选择 256。
实践中可以设定验证集目标,例如 val_mse <= 0.30,对每个 Batch Size 使用相同的数据划分,记录首次达到目标的实际时间。若某种配置始终达不到目标,应标记为未达标,而不是拿最终训练损失代替验证损失。
还要区分两种公平比较方式:
- 固定 Epoch:每种配置看到大致相同数量的样本,但更新次数不同。
- 固定更新步数:更新次数相同,但大批量处理的样本更多。
如果要评价训练成本和收敛速度,建议同时报告已处理样本数、优化器更新次数和耗时。
如何为真实训练选择 Batch Size
一个可执行的选择方法是从 32 开始,按 32、64、128、256 逐步测试。每种配置保持数据划分、模型结构、优化器和初始学习率一致,记录峰值显存、样本吞吐、验证损失以及达到目标损失所需时间。
对于 GPU 训练,Batch Size 太小可能导致并行计算利用率不足;太大则可能出现显存不足,或吞吐提升逐渐趋于平缓。实际最优值还受到模型层结构和数据形状的影响。
初始对照时不要同时修改 Batch Size 和学习率,否则无法判断变化来自哪一个因素。确定批量范围后,再单独实验学习率。线性放大学习率有时可用于大批量训练,但它不是对所有优化器和模型都适用的规则。
最后做一个检查:选取实验中的 B=32 和 B=128,分别运行三次并比较验证损失和吞吐量。若 B=128 的吞吐更高,但到达验证目标的时间反而更长,说明减少梯度噪声和提高数据处理效率没有转化为更快的优化收敛。选择 Batch Size 时,应优先使用与业务目标对应的指标:固定预算下的验证质量,或者达到目标质量所需的总时间。