大模型原理与训练 / 系统课时

固定随机性复现实验结果

固定随机性复现实验结果

同一份 nanoGPT 代码重复运行却得到不同曲线,往往不是模型逻辑错了,而是初始化、批次采样、Dropout、数据加载或设备内核消耗了不同随机序列。本节建立可复现边界,让实验差异尽量只来自你主动修改的变量。

学习目标

  • 同时固定 Python、NumPy 与 PyTorch 的随机源
  • 将数据采样随机性与模型内部随机性隔离
  • 区分逐位确定性与工程上可比较的实验复现

复现不等于只写一个 seed

torch.manual_seed() 只覆盖 PyTorch 的随机状态,不能自动控制 Python random、NumPy、数据加载 worker 或所有设备级算法。更隐蔽的问题是共享随机序列:如果训练采样与评估采样都调用全局 RNG,那么仅仅修改 eval_interval,就可能改变后续训练批次。

因此要把“随机来源”拆开管理:全局种子负责模型初始化和常规算子;独立 torch.Generator 负责训练数据采样;评估阶段再使用自己的生成器。实验配置、数据切分和软件环境也必须一起固定,否则相同 seed 仍然不能代表相同实验。

可复现实验中的随机性来源与隔离关系

用独立生成器固定批次序列

下面的脚本把常见随机源集中到 seed_everything(),并为批次索引单独创建生成器。相同 seed 连续运行两次会得到完全相同的前五个 loss;修改 seed 后,初始化和采样序列都会变化。

python
import random
import numpy as np
import torch
import torch.nn as nn
import torch.nn.functional as F

def seed_everything(seed):
    random.seed(seed)
    np.random.seed(seed)
    torch.manual_seed(seed)
    if torch.cuda.is_available():
        torch.cuda.manual_seed_all(seed)

    # 请求确定性算法;遇到无确定性实现的算子时直接报错。
    torch.use_deterministic_algorithms(True)
    if torch.backends.cudnn.is_available():
        torch.backends.cudnn.benchmark = False
        torch.backends.cudnn.deterministic = True

vocab_size = 16
block_size = 4
batch_size = 8
data = torch.arange(0, 256) % vocab_size

def get_batch(generator):
    ix = torch.randint(
        0,
        len(data) - block_size - 1,
        (batch_size,),
        generator=generator,
    )
    x = torch.stack([data[i:i + block_size] for i in ix])
    y = torch.stack([data[i + 1:i + block_size + 1] for i in ix])
    return x, y

class TinyLM(nn.Module):
    def __init__(self):
        super().__init__()
        self.embedding = nn.Embedding(vocab_size, vocab_size)

    def forward(self, idx, targets):
        logits = self.embedding(idx)
        b, t, c = logits.shape
        loss = F.cross_entropy(
            logits.view(b * t, c), targets.view(b * t)
        )
        return logits, loss

def run(seed):
    seed_everything(seed)

    # 数据采样拥有独立随机流,不受其他随机操作的调用次数影响。
    batch_gen = torch.Generator().manual_seed(seed + 1)
    model = TinyLM()
    optimizer = torch.optim.SGD(model.parameters(), lr=0.1)
    losses = []

    for _ in range(5):
        xb, yb = get_batch(batch_gen)
        _, loss = model(xb, yb)
        losses.append(round(loss.item(), 6))

        optimizer.zero_grad(set_to_none=True)
        loss.backward()
        optimizer.step()

    return losses

first = run(1234)
second = run(1234)
third = run(1235)

print("same seed equal:", first == second)
print("different seed equal:", first == third)
print("losses:", first)

预期输出(同一 PyTorch/CPU 环境下):

text
same seed equal: True
different seed equal: False
losses: [3.753762, 3.416495, 3.432346, 3.362266, 3.292966]

这个检查比“看起来差不多”更严格:它直接验证相同 seed 是否产生同一批次序列、同一初始化和同一训练轨迹。

设备差异决定确定性的上限

完全逐位一致通常只应承诺在相同代码、依赖版本、硬件类型、设备、算子实现和运行参数下成立。CPU 与 GPU、不同 GPU 架构、不同 PyTorch 或 CUDA 版本,都可能因为浮点规约顺序和内核实现差异得到略有不同的结果。

torch.use_deterministic_algorithms(True) 的价值不是“让所有平台都得到同一串数字”,而是在当前环境中尽量选择确定性实现;如果某个算子没有确定性实现,它会暴露问题而不是静默继续。启用确定性通常还会牺牲一部分性能,因此更适合调试、回归测试和关键对比实验。

如果使用多进程 DataLoader,还需要固定其 generator 并正确初始化 worker seed。否则主进程已经固定随机种子,worker 仍可能以不同顺序产生样本。

用工程可复现替代不现实的逐位一致

日常训练更实用的目标是“同一结论可重复”:固定数据版本与切分、seed、batch size、学习率、模型配置、评估协议和依赖版本,然后要求关键指标在合理容差内一致。只有定位数值 bug 或写回归测试时,才值得进一步追求逐位相等。

每次实验至少记录 seed、代码提交版本、PyTorch/CUDA 版本、设备型号、训练参数和验证集最优 loss。比较两个实验时,先确认这些条件一致,再把指标差异归因于模型改动;否则所谓“提升”很可能只是随机性或环境变化。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

固定随机性复现实验结果

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通