机器学习与深度学习 / 系统课时

创建可复现的 Python 实验环境

创建可复现的 Python 实验环境

推荐实验如果没有固定 Python、依赖和随机性,同一份代码换台机器就可能得到不同结果。本节建立一个最小但可持续扩展的实验骨架,并通过脚本验证解释器、依赖和随机种子确实按预期工作。

学习目标

  • 使用虚拟环境隔离推荐实验所需依赖
  • 固定关键库版本和随机种子,降低环境差异
  • 建立数据、源码与产物分离的项目目录,并完成可重复验证

先固定解释器和项目目录

本课程示例使用 Python 3.11。开始前先确认本机已经安装 3.11.x,再创建独立目录和虚拟环境。下面命令适用于 macOS、Linux 以及提供 Bash 的开发环境。

bash
mkdir recommender-lab
cd recommender-lab
python3.11 -m venv .venv
source .venv/bin/activate
python --version

预期输出如下,<PATCH> 表示不同机器可能安装不同的 3.11 补丁版本。

text
Python 3.11.<PATCH>

Windows PowerShell 中虚拟环境的激活命令为 \.venv\Scripts\Activate.ps1。无论使用哪个系统,都应先确认当前终端执行的 python 已经指向项目自己的虚拟环境,而不是全局解释器。

接着建立最小目录。原始数据、源码和实验产物分开存放,可以避免脚本逐渐增多后把模型文件、缓存和源数据混在一起。

bash
mkdir -p data/raw data/processed src artifacts

预期结果是当前项目下出现 data/raw、data/processed、src 和 artifacts 四个目录;命令成功时通常不会产生控制台输出。

锁定实验依赖

在项目根目录创建 requirements.txt。这里先保留后续推荐基线真正需要的数据处理和机器学习依赖,不提前堆入 Web 服务或深度学习框架。

text
numpy==2.1.3
pandas==2.2.3
scikit-learn==1.5.2

这是依赖清单,不是可执行脚本。版本固定后,安装时不会因为某个库发布新版本而自动改变实验环境。执行安装命令:

bash
python -m pip install --upgrade pip
python -m pip install -r requirements.txt

预期结果是命令以退出码 0 结束,三个指定依赖均安装成功。pip 下载地址、进度和附加依赖日志会随操作系统与时间变化,因此不应把完整安装日志作为可复现性判断依据。

可以再用冻结结果检查真正安装的版本:

bash
python -m pip show numpy pandas scikit-learn

预期结果中应分别出现以下版本字段,安装路径等动态值在不同机器上可能不同。

text
Name: numpy
Version: 2.1.3
...
Name: pandas
Version: 2.2.3
...
Name: scikit-learn
Version: 1.5.2

固定随机种子并做一次验证

很多推荐实验包含数据切分、负采样或随机初始化。只固定库版本但不固定随机种子,指标仍可能每次变化。在 src/check_env.py 中写入下面的完整验证程序。

python
import random

import numpy as np
import pandas as pd
import sklearn

SEED = 2026


def main() -> None:
    # Python random 与 NumPy 使用同一个实验种子,便于复现实验过程。
    random.seed(SEED)
    np.random.seed(SEED)

    python_values = [random.randint(0, 99) for _ in range(3)]
    numpy_values = np.random.randint(0, 100, size=3).tolist()

    print(f"numpy={np.__version__}")
    print(f"pandas={pd.__version__}")
    print(f"scikit-learn={sklearn.__version__}")
    print(f"python_random={python_values}")
    print(f"numpy_random={numpy_values}")


if __name__ == "__main__":
    main()

启动程序时同时固定 PYTHONHASHSEED。这个变量需要在 Python 进程启动前设置,不能等程序运行后再修改。

bash
PYTHONHASHSEED=2026 python src/check_env.py

预期输出为:

text
numpy=2.1.3
pandas=2.2.3
scikit-learn=1.5.2
python_random=[15, 40, 64]
numpy_random=[1, 6, 26]

如果连续执行两次得到相同的随机序列,说明当前示例中的主要随机源已经被控制。后续使用 train_test_split、采样器或模型自身的 random_state 参数时,仍要显式传入同一个 SEED,不能假设全局设置会自动控制所有第三方组件。

判断环境是否真的可复现

完成环境配置后,不要只以“安装没有报错”作为验收标准。至少检查 Python 主版本一致、关键依赖版本一致,并在两次独立进程中运行验证脚本,确认输出的随机序列一致。

还要认识到这里追求的是工程实验中的可重复,而不是跨所有 CPU、操作系统都保证浮点结果逐字节相同。某些底层线性代数库、多线程计算和硬件实现仍可能带来极小数值差异。需要更严格的一致性时,应继续固定操作系统镜像、底层库和容器环境。

到这里,后续的数据清洗、召回基线、排序训练和离线评估都可以共用同一个 .venv、目录约定和 SEED。实验结果出现变化时,也能先排除解释器、依赖漂移和随机初始化这三类最常见的环境因素。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

创建可复现的 Python 实验环境

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通