大模型原理与训练 / 系统课时

搭好 PyTorch 张量实验环境

搭好 PyTorch 张量实验环境

这一节建立一个最小、可复现的 Python 3.12 与 PyTorch 2.x 实验环境,并用一段脚本同时验证张量计算、设备选择和随机种子。完成后,你会得到后续实验都能复用的基础目录。

学习目标

  • 使用虚拟环境隔离 Python 3.12 与 PyTorch 2.x 依赖
  • 验证 CPU 或可用 GPU 上的基础张量运算
  • 用固定随机种子确认实验可以重复

先检查 Python 版本

先确认命令行中的解释器确实是 Python 3.12。以下命令适用于已安装 python3.12 的 macOS 或 Linux 环境;Windows 可使用 py -3.12 --version 做同样检查。

bash
python3.12 --version

预期输出

text
Python 3.12.<PATCH>

<PATCH> 会随本机安装的小版本变化。若主版本不是 3.12,应先修正解释器路径,再创建虚拟环境,避免把依赖装进错误的 Python。

创建隔离环境并安装 PyTorch

在空目录中创建 .venv,激活后把 pip 升级到当前环境,再限制安装 PyTorch 2.x。这里先建立通用基线,不把 CUDA 工具链作为前置条件;有可用 CUDA 的环境会在后面的脚本里自动选择 GPU。

bash
python3.12 -m venv .venv
source .venv/bin/activate
python -m pip install --upgrade pip --quiet
python -m pip install "torch>=2,<3" --quiet

预期结果

text
命令无固定标准输出;全部命令退出码为 0,并且当前 shell 使用 .venv 中的 python。

Windows PowerShell 的激活命令是 .\.venv\Scripts\Activate.ps1。无论使用哪种系统,后续都应通过已激活环境里的 python 和 python -m pip 操作,减少解释器与安装位置错配。

用一段脚本完成基线验证

新建 check_torch.py。脚本固定随机种子,创建张量并做矩阵乘法;设备优先选择 CUDA,否则使用 CPU。保存文件后执行 python check_torch.py。

python
import torch

torch.manual_seed(2026)

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
left = torch.tensor([[1.0, 2.0], [3.0, 4.0]], device=device)
right = torch.tensor([[2.0], [1.0]], device=device)
product = left @ right

first = torch.rand(4)
torch.manual_seed(2026)
second = torch.rand(4)

major_version = int(torch.__version__.split(".", 1)[0])

print("torch_major_is_2:", major_version == 2)
print("device:", device.type)
print("product:", product.flatten().tolist())
print("seed_reproducible:", torch.equal(first, second))

预期输出

text
torch_major_is_2: True
device: <DEVICE>
product: [4.0, 10.0]
seed_reproducible: True

<DEVICE> 在没有可用 CUDA 时为 cpu,检测到可用 CUDA 时为 cuda。这段输出同时证明 PyTorch 2.x 已成功导入、目标设备能完成张量运算,并且 CPU 随机数在重新设置同一全局种子后可重复。

典型失败按顺序排查

若 python3.12 不存在,问题在 Python 安装或 PATH,而不是 PyTorch。若安装完成后 import torch 失败,先运行 python -m pip --version,确认 pip 指向当前 .venv,再重新安装依赖。

如果脚本输出 device: cpu,并不代表实验环境失败,只说明当前 PyTorch 没有检测到可用 CUDA。先用 CPU 完成后续张量实验即可;确实需要 GPU 时,再根据操作系统、显卡驱动和 CUDA 兼容关系安装对应构建。

固定随机种子只能控制参与的随机数生成器,并不自动保证所有 GPU 算子都具备严格确定性。当前基线的目标是先证明环境、设备与基本随机性控制都正常,再在需要严格复现的训练实验中单独收紧确定性设置。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

搭好 PyTorch 张量实验环境

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通