大模型原理与训练 / 系统课时

搭好 PyTorch 实验环境

搭好 PyTorch 实验环境

这一节把后续 nanoGPT 实验需要的最小环境一次搭好:确认 Python、建立隔离环境、安装 PyTorch、识别可用设备,并用一个小脚本验证张量确实能在选定设备上运行。

学习目标

  • 建立独立的 Python 虚拟环境并安装 PyTorch
  • 自动识别 CPU、CUDA、MPS 或 XPU 等可用设备
  • 建立清晰的项目目录,并用最小脚本完成环境验收

先确认 Python

优先使用当前 PyTorch 支持的较新 CPython 版本,并避免把课程依赖直接装进系统 Python。先检查解释器是否可用:

bash
python --version

预期输出

text
Python <VERSION>

<VERSION> 是本机实际 Python 版本。若系统只有 python3 命令,后续把示例中的 python 等价替换为 python3。

创建隔离环境并安装 PyTorch

在项目根目录创建 .venv,激活后再安装依赖。macOS 和 Linux 可以执行:

bash
python -m venv .venv
. .venv/bin/activate
python -m pip install --upgrade pip
python -m pip install torch

预期输出

text
<INSTALL_LOG>
Successfully installed torch-<VERSION> <DEPENDENCIES>

实际安装日志、版本号和依赖列表可能不同;若依赖已经存在,也可能显示 Requirement already satisfied。Windows PowerShell 的虚拟环境激活脚本位于 .venv\Scripts\Activate.ps1;激活后使用当前解释器安装 PyTorch。

验证 PyTorch 与加速设备

把下面内容保存为项目根目录的 check_env.py,随后用 python check_env.py 运行。脚本按 CUDA、XPU、MPS、CPU 的顺序选择可用设备,并真正创建一个张量做运算:

python
import torch

def pick_device() -> str:
    if torch.cuda.is_available():
        return "cuda"
    if hasattr(torch, "xpu") and torch.xpu.is_available():
        return "xpu"
    if hasattr(torch.backends, "mps") and torch.backends.mps.is_available():
        return "mps"
    return "cpu"

device = pick_device()
x = torch.tensor([1.0, 2.0, 3.0], device=device)

print(f"torch={torch.__version__}")
print(f"device={device}")
print(f"tensor_sum={x.sum().item()}")

预期输出

text
torch=<VERSION>
device=<DEVICE>
tensor_sum=6.0

<DEVICE> 可能是 cuda、xpu、mps 或 cpu;实际 <VERSION> 取决于安装结果。只要脚本正常结束且 tensor_sum=6.0,就说明 PyTorch 已能在所选设备上创建张量并完成基础计算。

建立后续实验目录

最小项目可以保留 model.py、train.py、check_env.py 三个脚本,并建立 data 与 checkpoints 两个目录。data 存放训练语料和编码后的 Token 数据,checkpoints 存放模型权重与训练状态,避免把生成文件散落在源码目录。

建议从一开始就把 .venv、data 中的大文件和 checkpoints 加入版本控制忽略列表。课程后续的模型代码、训练脚本和生成脚本都可以围绕这套目录扩展,不需要频繁改路径。

典型失败怎么定位

如果 import torch 失败,先确认当前解释器和 PyTorch 的安装位置属于同一个 .venv。如果脚本只能选到 CPU,而你预期 CUDA 可用,优先检查 PyTorch 构建、显卡驱动和运行时是否匹配;单纯重复安装同一个不匹配的构建通常不能解决问题。

如果设备能识别但张量运算报错,再缩小到本节的 check_env.py 复现。环境验收的标准不是“安装命令看起来成功”,而是 Python、PyTorch、设备选择和一次真实张量计算都能连起来运行。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

搭好 PyTorch 实验环境

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通