机器学习与深度学习 / 系统课时
创建可复现的 Python 实验环境
创建可复现的 Python 实验环境
推荐实验如果没有固定 Python、依赖和随机性,同一份代码换台机器就可能得到不同结果。本节建立一个最小但可持续扩展的实验骨架,并通过脚本验证解释器、依赖和随机种子确实按预期工作。
学习目标
- 使用虚拟环境隔离推荐实验所需依赖
- 固定关键库版本和随机种子,降低环境差异
- 建立数据、源码与产物分离的项目目录,并完成可重复验证
先固定解释器和项目目录
本课程示例使用 Python 3.11。开始前先确认本机已经安装 3.11.x,再创建独立目录和虚拟环境。下面命令适用于 macOS、Linux 以及提供 Bash 的开发环境。
mkdir recommender-lab
cd recommender-lab
python3.11 -m venv .venv
source .venv/bin/activate
python --version预期输出如下,<PATCH> 表示不同机器可能安装不同的 3.11 补丁版本。
Python 3.11.<PATCH>Windows PowerShell 中虚拟环境的激活命令为 \.venv\Scripts\Activate.ps1。无论使用哪个系统,都应先确认当前终端执行的 python 已经指向项目自己的虚拟环境,而不是全局解释器。
接着建立最小目录。原始数据、源码和实验产物分开存放,可以避免脚本逐渐增多后把模型文件、缓存和源数据混在一起。
mkdir -p data/raw data/processed src artifacts预期结果是当前项目下出现 data/raw、data/processed、src 和 artifacts 四个目录;命令成功时通常不会产生控制台输出。
锁定实验依赖
在项目根目录创建 requirements.txt。这里先保留后续推荐基线真正需要的数据处理和机器学习依赖,不提前堆入 Web 服务或深度学习框架。
numpy==2.1.3
pandas==2.2.3
scikit-learn==1.5.2这是依赖清单,不是可执行脚本。版本固定后,安装时不会因为某个库发布新版本而自动改变实验环境。执行安装命令:
python -m pip install --upgrade pip
python -m pip install -r requirements.txt预期结果是命令以退出码 0 结束,三个指定依赖均安装成功。pip 下载地址、进度和附加依赖日志会随操作系统与时间变化,因此不应把完整安装日志作为可复现性判断依据。
可以再用冻结结果检查真正安装的版本:
python -m pip show numpy pandas scikit-learn预期结果中应分别出现以下版本字段,安装路径等动态值在不同机器上可能不同。
Name: numpy
Version: 2.1.3
...
Name: pandas
Version: 2.2.3
...
Name: scikit-learn
Version: 1.5.2固定随机种子并做一次验证
很多推荐实验包含数据切分、负采样或随机初始化。只固定库版本但不固定随机种子,指标仍可能每次变化。在 src/check_env.py 中写入下面的完整验证程序。
import random
import numpy as np
import pandas as pd
import sklearn
SEED = 2026
def main() -> None:
# Python random 与 NumPy 使用同一个实验种子,便于复现实验过程。
random.seed(SEED)
np.random.seed(SEED)
python_values = [random.randint(0, 99) for _ in range(3)]
numpy_values = np.random.randint(0, 100, size=3).tolist()
print(f"numpy={np.__version__}")
print(f"pandas={pd.__version__}")
print(f"scikit-learn={sklearn.__version__}")
print(f"python_random={python_values}")
print(f"numpy_random={numpy_values}")
if __name__ == "__main__":
main()启动程序时同时固定 PYTHONHASHSEED。这个变量需要在 Python 进程启动前设置,不能等程序运行后再修改。
PYTHONHASHSEED=2026 python src/check_env.py预期输出为:
numpy=2.1.3
pandas=2.2.3
scikit-learn=1.5.2
python_random=[15, 40, 64]
numpy_random=[1, 6, 26]如果连续执行两次得到相同的随机序列,说明当前示例中的主要随机源已经被控制。后续使用 train_test_split、采样器或模型自身的 random_state 参数时,仍要显式传入同一个 SEED,不能假设全局设置会自动控制所有第三方组件。
判断环境是否真的可复现
完成环境配置后,不要只以“安装没有报错”作为验收标准。至少检查 Python 主版本一致、关键依赖版本一致,并在两次独立进程中运行验证脚本,确认输出的随机序列一致。
还要认识到这里追求的是工程实验中的可重复,而不是跨所有 CPU、操作系统都保证浮点结果逐字节相同。某些底层线性代数库、多线程计算和硬件实现仍可能带来极小数值差异。需要更严格的一致性时,应继续固定操作系统镜像、底层库和容器环境。
到这里,后续的数据清洗、召回基线、排序训练和离线评估都可以共用同一个 .venv、目录约定和 SEED。实验结果出现变化时,也能先排除解释器、依赖漂移和随机初始化这三类最常见的环境因素。