大模型原理与训练 / 系统课时
搭好 PyTorch 实验环境
搭好 PyTorch 实验环境
这一节把后续 nanoGPT 实验需要的最小环境一次搭好:确认 Python、建立隔离环境、安装 PyTorch、识别可用设备,并用一个小脚本验证张量确实能在选定设备上运行。
学习目标
- 建立独立的 Python 虚拟环境并安装 PyTorch
- 自动识别 CPU、CUDA、MPS 或 XPU 等可用设备
- 建立清晰的项目目录,并用最小脚本完成环境验收
先确认 Python
优先使用当前 PyTorch 支持的较新 CPython 版本,并避免把课程依赖直接装进系统 Python。先检查解释器是否可用:
python --version预期输出
Python <VERSION><VERSION> 是本机实际 Python 版本。若系统只有 python3 命令,后续把示例中的 python 等价替换为 python3。
创建隔离环境并安装 PyTorch
在项目根目录创建 .venv,激活后再安装依赖。macOS 和 Linux 可以执行:
python -m venv .venv
. .venv/bin/activate
python -m pip install --upgrade pip
python -m pip install torch预期输出
<INSTALL_LOG>
Successfully installed torch-<VERSION> <DEPENDENCIES>实际安装日志、版本号和依赖列表可能不同;若依赖已经存在,也可能显示 Requirement already satisfied。Windows PowerShell 的虚拟环境激活脚本位于 .venv\Scripts\Activate.ps1;激活后使用当前解释器安装 PyTorch。
验证 PyTorch 与加速设备
把下面内容保存为项目根目录的 check_env.py,随后用 python check_env.py 运行。脚本按 CUDA、XPU、MPS、CPU 的顺序选择可用设备,并真正创建一个张量做运算:
import torch
def pick_device() -> str:
if torch.cuda.is_available():
return "cuda"
if hasattr(torch, "xpu") and torch.xpu.is_available():
return "xpu"
if hasattr(torch.backends, "mps") and torch.backends.mps.is_available():
return "mps"
return "cpu"
device = pick_device()
x = torch.tensor([1.0, 2.0, 3.0], device=device)
print(f"torch={torch.__version__}")
print(f"device={device}")
print(f"tensor_sum={x.sum().item()}")预期输出
torch=<VERSION>
device=<DEVICE>
tensor_sum=6.0<DEVICE> 可能是 cuda、xpu、mps 或 cpu;实际 <VERSION> 取决于安装结果。只要脚本正常结束且 tensor_sum=6.0,就说明 PyTorch 已能在所选设备上创建张量并完成基础计算。
建立后续实验目录
最小项目可以保留 model.py、train.py、check_env.py 三个脚本,并建立 data 与 checkpoints 两个目录。data 存放训练语料和编码后的 Token 数据,checkpoints 存放模型权重与训练状态,避免把生成文件散落在源码目录。
建议从一开始就把 .venv、data 中的大文件和 checkpoints 加入版本控制忽略列表。课程后续的模型代码、训练脚本和生成脚本都可以围绕这套目录扩展,不需要频繁改路径。
典型失败怎么定位
如果 import torch 失败,先确认当前解释器和 PyTorch 的安装位置属于同一个 .venv。如果脚本只能选到 CPU,而你预期 CUDA 可用,优先检查 PyTorch 构建、显卡驱动和运行时是否匹配;单纯重复安装同一个不匹配的构建通常不能解决问题。
如果设备能识别但张量运算报错,再缩小到本节的 check_env.py 复现。环境验收的标准不是“安装命令看起来成功”,而是 Python、PyTorch、设备选择和一次真实张量计算都能连起来运行。