AI 与工程数学 / 系统课时
用 Epoch 和随机种子复现实验
用 Epoch 和随机种子复现实验
小批量训练既要在每个 Epoch 覆盖全部样本,又要通过打乱顺序减少固定批次带来的偏差。这里实现一个可重复的数据迭代器:同一随机种子能复现完整批次顺序,不同 Epoch 又会得到新的排列,并能直接检查是否漏样本或重复取样。
学习目标
- 理解 Epoch、batch size、shuffle 和随机种子分别控制什么。
- 用 NumPy 实现可复现的小批量迭代,并保证每轮样本恰好覆盖一次。
- 通过索引和随机状态检查两次实验是否真正可复现。
Epoch 与随机种子控制的是两件事
假设训练集有 10 个样本,batch_size=4。一个 Epoch 指模型完整消费这 10 个样本一次,因此每轮会得到大小为 4、4、2 的三个批次。最后不足 4 个样本的批次通常仍应保留,除非算法明确要求固定批大小。
shuffle=True 决定每轮开始前是否重新排列样本;随机种子决定这串随机排列能否重新生成。种子不是“让每个 Epoch 顺序相同”,而是让整次实验中的随机序列可重复。
例如固定 seed=42 后,第一次运行的 Epoch 0 与第二次运行的 Epoch 0 应完全相同;两次运行的 Epoch 1 也应相同。但同一次运行里 Epoch 0 与 Epoch 1 通常应该不同,因为随机数生成器的状态已经向前推进。
实现可重复的小批量迭代器
下面的实现只维护一个 Generator 实例。每个 Epoch 调用一次 permutation,随后按批大小切片,因此既不会漏掉样本,也不会在单个 Epoch 内重复样本。
import numpy as np
def iterate_minibatches(num_samples: int, batch_size: int, epochs: int, seed: int):
if num_samples <= 0:
raise ValueError("num_samples must be positive")
if batch_size <= 0:
raise ValueError("batch_size must be positive")
# 整次实验只创建一次随机数生成器,使随机状态跨 Epoch 连续推进。
rng = np.random.default_rng(seed)
for epoch in range(epochs):
indices = rng.permutation(num_samples)
batches = [
indices[start:start + batch_size]
for start in range(0, num_samples, batch_size)
]
yield epoch, batches
def run_experiment(seed: int):
result = []
for epoch, batches in iterate_minibatches(
num_samples=10,
batch_size=4,
epochs=2,
seed=seed,
):
flattened = np.concatenate(batches)
covered_once = np.array_equal(np.sort(flattened), np.arange(10))
batch_lists = [batch.tolist() for batch in batches]
print(f"epoch={epoch} batches={batch_lists}")
print(f"covered_once={covered_once}")
result.append(batch_lists)
return result
first = run_experiment(seed=42)
second = run_experiment(seed=42)
print(f"same_run_sequence={first == second}")
print(f"epoch_orders_differ={first[0] != first[1]}")预期输出如下。NumPy 在相同版本及相同 default_rng 算法下会复现同一结果;关键验收项是两次运行一致、单个 Epoch 覆盖完整、相邻 Epoch 顺序不同。
epoch=0 batches=[[5, 6, 0, 7], [3, 2, 4, 9], [1, 8]]
covered_once=True
epoch=1 batches=[[4, 8, 2, 6], [5, 9, 7, 3], [0, 1]]
covered_once=True
epoch=0 batches=[[5, 6, 0, 7], [3, 2, 4, 9], [1, 8]]
covered_once=True
epoch=1 batches=[[4, 8, 2, 6], [5, 9, 7, 3], [0, 1]]
covered_once=True
same_run_sequence=True
epoch_orders_differ=True这里的覆盖检查比只看批次数更可靠。对于 10 个样本,正确结果必须满足拼接后的索引长度为 10,并且排序后严格等于 [0,1,2,3,4,5,6,7,8,9]。如果某个索引出现两次,就必然意味着另一个索引缺失。
核对每轮是否完整覆盖样本
训练循环中最值得记录的不是每个样本的实际数据,而是 Epoch、批次数和样本索引统计。例如 num_samples=10、batch_size=4 时,期望批次数可以直接计算为 。
实际项目可以在调试阶段为每个 Epoch 检查三个条件:总索引数等于数据集大小;唯一索引数等于数据集大小;最小索引为 0 且最大索引为 num_samples-1。这能快速发现手写采样器中的重复采样、边界切片错误和错误丢弃尾批次。
如果业务要求固定批大小,可以显式启用 drop_last 语义。例如 10 个样本按 4 个一批,只训练前 8 个样本时必须明确知道本 Epoch 并未完整覆盖数据。用于普通随机梯度训练时,除非 BatchNorm、硬件并行或张量形状有固定要求,否则通常不应悄悄丢弃最后 2 个样本。
复现实验时固定完整随机条件
随机种子只有在随机源一致时才有意义。若数据打乱用 NumPy,而模型初始化和 Dropout 来自另一个框架,只固定 NumPy 的种子并不能复现整个训练过程。至少要分别固定数据迭代、模型初始化以及框架内部的随机源。
还要保留影响批次组织的参数,例如 seed=42、batch_size=4、shuffle=True、数据集版本和样本数量。把 batch_size 从 4 改成 5,即使种子不变,样本排列可能相同,但梯度更新的分组已经变化,最终训练轨迹也会不同。
复现小批量实验时,最直接的验收标准是:相同配置重新运行后,每个 Epoch 的样本索引序列逐项一致;同一次运行的不同 Epoch 仍完成完整覆盖,并按预期产生新的随机排列。这样才能把“固定了一个 seed”变成真正可检查的实验复现。