机器学习与深度学习 / 系统课时
固定依赖与随机性
固定依赖与随机性
同一份训练代码可能因依赖升级、参数随机初始化或数据顺序变化而得到不同结果。本课将记录当前 Python 环境的精确版本,并统一 Python、NumPy 与 PyTorch 的随机种子,让实验更容易复现和比较。
学习目标
- 将当前环境的依赖及其版本保存到文件中
- 为常用随机数生成器设置统一种子
- 理解固定种子能够控制什么,以及仍然存在的复现边界
实验结果为什么会变化
深度学习实验通常包含多处随机行为,例如模型权重初始化、训练集打乱、随机裁剪和 Dropout。只设置其中一个随机源,其他随机源仍可能使损失曲线和最终指标发生变化。
环境版本也会影响结果。PyTorch、CUDA、cuDNN 或第三方库升级后,算子实现、默认参数和数值计算顺序都可能改变。因此,复现实验需要同时固定依赖环境和随机过程。
记录依赖版本
在已经完成安装并验证可运行的虚拟环境中执行以下命令。pip freeze 会把当前环境中的直接依赖和传递依赖统一写入 requirements.txt。
python -m pip freeze > requirements.txt
python -c "from pathlib import Path; print('requirements lines:', len(Path('requirements.txt').read_text(encoding='utf-8').splitlines()))"预期输出
requirements lines: <COUNT><COUNT> 是当前环境记录的依赖行数,实际值可能不同。打开文件后应能看到类似 torch==<VERSION> 的精确版本声明。迁移到新环境时,可执行 python -m pip install -r requirements.txt 恢复这些版本。
不要直接把包含大量无关工具的全局 Python 环境作为实验环境,否则生成的文件会混入不必要的依赖。更稳妥的做法是先创建独立虚拟环境,再安装项目真正使用的包。
设置随机种子
下面的完整程序同时固定 Python、NumPy、PyTorch CPU 和 CUDA 的随机状态,并要求 PyTorch优先使用确定性算法。
import os
import random
import numpy as np
import torch
SEED = 42
# 固定 Python 哈希及常用随机数生成器
os.environ['PYTHONHASHSEED'] = str(SEED)
random.seed(SEED)
np.random.seed(SEED)
torch.manual_seed(SEED)
# 多张 CUDA 设备使用同一初始种子
if torch.cuda.is_available():
torch.cuda.manual_seed_all(SEED)
# 禁止自动选择可能产生非确定结果的算法
torch.use_deterministic_algorithms(True)
torch.backends.cudnn.benchmark = False
# 独立生成器不会消耗全局随机状态
local_generator = torch.Generator().manual_seed(SEED)
print(torch.rand(3, generator=local_generator))预期输出
tensor([0.8823, 0.9150, 0.3829])重复运行程序时,输出应保持一致。实际训练项目应在创建模型、数据加载器和随机增强之前完成种子设置,否则前面已经发生的随机操作无法被撤销。
复现能力的边界
固定种子并不代表任意环境都能得到逐位相同的结果。不同的 PyTorch 版本、CPU 指令集、GPU 型号、CUDA 版本和并行执行顺序仍可能引入数值差异。
开启确定性算法后,部分算子可能因为没有确定性实现而抛出错误,训练速度也可能下降。开发和排错阶段可以优先保证可复现性;正式性能测试则应记录配置,再评估是否关闭严格确定性模式。
完整实验记录至少应包含依赖文件、随机种子、模型参数、数据版本、设备信息和启动命令。只有种子相同但数据或配置不同,不能视为同一次实验。