机器学习与深度学习 / 系统课时

固定依赖与随机性

固定依赖与随机性

同一份训练代码可能因依赖升级、参数随机初始化或数据顺序变化而得到不同结果。本课将记录当前 Python 环境的精确版本,并统一 Python、NumPy 与 PyTorch 的随机种子,让实验更容易复现和比较。

学习目标

  • 将当前环境的依赖及其版本保存到文件中
  • 为常用随机数生成器设置统一种子
  • 理解固定种子能够控制什么,以及仍然存在的复现边界

实验结果为什么会变化

深度学习实验通常包含多处随机行为,例如模型权重初始化、训练集打乱、随机裁剪和 Dropout。只设置其中一个随机源,其他随机源仍可能使损失曲线和最终指标发生变化。

环境版本也会影响结果。PyTorch、CUDA、cuDNN 或第三方库升级后,算子实现、默认参数和数值计算顺序都可能改变。因此,复现实验需要同时固定依赖环境和随机过程。

记录依赖版本

在已经完成安装并验证可运行的虚拟环境中执行以下命令。pip freeze 会把当前环境中的直接依赖和传递依赖统一写入 requirements.txt。

bash
python -m pip freeze > requirements.txt
python -c "from pathlib import Path; print('requirements lines:', len(Path('requirements.txt').read_text(encoding='utf-8').splitlines()))"

预期输出

text
requirements lines: <COUNT>

<COUNT> 是当前环境记录的依赖行数,实际值可能不同。打开文件后应能看到类似 torch==<VERSION> 的精确版本声明。迁移到新环境时,可执行 python -m pip install -r requirements.txt 恢复这些版本。

不要直接把包含大量无关工具的全局 Python 环境作为实验环境,否则生成的文件会混入不必要的依赖。更稳妥的做法是先创建独立虚拟环境,再安装项目真正使用的包。

设置随机种子

下面的完整程序同时固定 Python、NumPy、PyTorch CPU 和 CUDA 的随机状态,并要求 PyTorch优先使用确定性算法。

python
import os
import random

import numpy as np
import torch

SEED = 42

# 固定 Python 哈希及常用随机数生成器
os.environ['PYTHONHASHSEED'] = str(SEED)
random.seed(SEED)
np.random.seed(SEED)
torch.manual_seed(SEED)

# 多张 CUDA 设备使用同一初始种子
if torch.cuda.is_available():
    torch.cuda.manual_seed_all(SEED)

# 禁止自动选择可能产生非确定结果的算法
torch.use_deterministic_algorithms(True)
torch.backends.cudnn.benchmark = False

# 独立生成器不会消耗全局随机状态
local_generator = torch.Generator().manual_seed(SEED)
print(torch.rand(3, generator=local_generator))

预期输出

text
tensor([0.8823, 0.9150, 0.3829])

重复运行程序时,输出应保持一致。实际训练项目应在创建模型、数据加载器和随机增强之前完成种子设置,否则前面已经发生的随机操作无法被撤销。

复现能力的边界

固定种子并不代表任意环境都能得到逐位相同的结果。不同的 PyTorch 版本、CPU 指令集、GPU 型号、CUDA 版本和并行执行顺序仍可能引入数值差异。

开启确定性算法后,部分算子可能因为没有确定性实现而抛出错误,训练速度也可能下降。开发和排错阶段可以优先保证可复现性;正式性能测试则应记录配置,再评估是否关闭严格确定性模式。

完整实验记录至少应包含依赖文件、随机种子、模型参数、数据版本、设备信息和启动命令。只有种子相同但数据或配置不同,不能视为同一次实验。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

固定依赖与随机性

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通