AI 与工程数学 / 系统课时

用 Epoch 和随机种子复现实验

用 Epoch 和随机种子复现实验

小批量训练既要在每个 Epoch 覆盖全部样本,又要通过打乱顺序减少固定批次带来的偏差。这里实现一个可重复的数据迭代器:同一随机种子能复现完整批次顺序,不同 Epoch 又会得到新的排列,并能直接检查是否漏样本或重复取样。

学习目标

  • 理解 Epoch、batch size、shuffle 和随机种子分别控制什么。
  • 用 NumPy 实现可复现的小批量迭代,并保证每轮样本恰好覆盖一次。
  • 通过索引和随机状态检查两次实验是否真正可复现。

Epoch 与随机种子控制的是两件事

假设训练集有 10 个样本,batch_size=4。一个 Epoch 指模型完整消费这 10 个样本一次,因此每轮会得到大小为 4、4、2 的三个批次。最后不足 4 个样本的批次通常仍应保留,除非算法明确要求固定批大小。

shuffle=True 决定每轮开始前是否重新排列样本;随机种子决定这串随机排列能否重新生成。种子不是“让每个 Epoch 顺序相同”,而是让整次实验中的随机序列可重复。

例如固定 seed=42 后,第一次运行的 Epoch 0 与第二次运行的 Epoch 0 应完全相同;两次运行的 Epoch 1 也应相同。但同一次运行里 Epoch 0 与 Epoch 1 通常应该不同,因为随机数生成器的状态已经向前推进。

实现可重复的小批量迭代器

下面的实现只维护一个 Generator 实例。每个 Epoch 调用一次 permutation,随后按批大小切片,因此既不会漏掉样本,也不会在单个 Epoch 内重复样本。

python
import numpy as np


def iterate_minibatches(num_samples: int, batch_size: int, epochs: int, seed: int):
    if num_samples <= 0:
        raise ValueError("num_samples must be positive")
    if batch_size <= 0:
        raise ValueError("batch_size must be positive")

    # 整次实验只创建一次随机数生成器,使随机状态跨 Epoch 连续推进。
    rng = np.random.default_rng(seed)

    for epoch in range(epochs):
        indices = rng.permutation(num_samples)
        batches = [
            indices[start:start + batch_size]
            for start in range(0, num_samples, batch_size)
        ]
        yield epoch, batches


def run_experiment(seed: int):
    result = []
    for epoch, batches in iterate_minibatches(
        num_samples=10,
        batch_size=4,
        epochs=2,
        seed=seed,
    ):
        flattened = np.concatenate(batches)
        covered_once = np.array_equal(np.sort(flattened), np.arange(10))
        batch_lists = [batch.tolist() for batch in batches]
        print(f"epoch={epoch} batches={batch_lists}")
        print(f"covered_once={covered_once}")
        result.append(batch_lists)
    return result


first = run_experiment(seed=42)
second = run_experiment(seed=42)
print(f"same_run_sequence={first == second}")
print(f"epoch_orders_differ={first[0] != first[1]}")

预期输出如下。NumPy 在相同版本及相同 default_rng 算法下会复现同一结果;关键验收项是两次运行一致、单个 Epoch 覆盖完整、相邻 Epoch 顺序不同。

text
epoch=0 batches=[[5, 6, 0, 7], [3, 2, 4, 9], [1, 8]]
covered_once=True
epoch=1 batches=[[4, 8, 2, 6], [5, 9, 7, 3], [0, 1]]
covered_once=True
epoch=0 batches=[[5, 6, 0, 7], [3, 2, 4, 9], [1, 8]]
covered_once=True
epoch=1 batches=[[4, 8, 2, 6], [5, 9, 7, 3], [0, 1]]
covered_once=True
same_run_sequence=True
epoch_orders_differ=True

这里的覆盖检查比只看批次数更可靠。对于 10 个样本,正确结果必须满足拼接后的索引长度为 10,并且排序后严格等于 [0,1,2,3,4,5,6,7,8,9]。如果某个索引出现两次,就必然意味着另一个索引缺失。

核对每轮是否完整覆盖样本

训练循环中最值得记录的不是每个样本的实际数据,而是 Epoch、批次数和样本索引统计。例如 num_samples=10、batch_size=4 时,期望批次数可以直接计算为 ⌈10/4⌉=3\lceil 10/4 \rceil=3。

实际项目可以在调试阶段为每个 Epoch 检查三个条件:总索引数等于数据集大小;唯一索引数等于数据集大小;最小索引为 0 且最大索引为 num_samples-1。这能快速发现手写采样器中的重复采样、边界切片错误和错误丢弃尾批次。

如果业务要求固定批大小,可以显式启用 drop_last 语义。例如 10 个样本按 4 个一批,只训练前 8 个样本时必须明确知道本 Epoch 并未完整覆盖数据。用于普通随机梯度训练时,除非 BatchNorm、硬件并行或张量形状有固定要求,否则通常不应悄悄丢弃最后 2 个样本。

复现实验时固定完整随机条件

随机种子只有在随机源一致时才有意义。若数据打乱用 NumPy,而模型初始化和 Dropout 来自另一个框架,只固定 NumPy 的种子并不能复现整个训练过程。至少要分别固定数据迭代、模型初始化以及框架内部的随机源。

还要保留影响批次组织的参数,例如 seed=42、batch_size=4、shuffle=True、数据集版本和样本数量。把 batch_size 从 4 改成 5,即使种子不变,样本排列可能相同,但梯度更新的分组已经变化,最终训练轨迹也会不同。

复现小批量实验时,最直接的验收标准是:相同配置重新运行后,每个 Epoch 的样本索引序列逐项一致;同一次运行的不同 Epoch 仍完成完整覆盖,并按预期产生新的随机排列。这样才能把“固定了一个 seed”变成真正可检查的实验复现。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用 Epoch 和随机种子复现实验

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通