大模型原理与训练 / 系统课时

搭好训练与量化实验环境

搭好训练与量化实验环境

这一步的目标不是“把包装上就算完成”,而是建立一个可复现、能识别 GPU、能导入量化后端并成功加载模型的最小环境。完成后,你应能区分 Python 依赖问题、CUDA 运行时问题和驱动或二进制兼容问题。

学习目标

  • 建立隔离的 Python 环境并安装训练、推理与量化依赖。
  • 验证 PyTorch CUDA、GPU 可见性和量化库导入状态。
  • 完成一次真实模型加载,并按层次定位常见二进制依赖故障。

先检查系统边界

建议使用 64 位 Python,并优先在 Linux 或 WSL2 中完成 NVIDIA GPU 实验。先确认 nvidia-smi 能看到显卡;如果这里失败,Python 层再怎么重装包也不会解决驱动或设备访问问题。

PyTorch 的预编译包通常自带所需 CUDA 运行时组件,因此“系统没有 nvcc”不等于 PyTorch 不能用 GPU。真正要对齐的是 NVIDIA 驱动、PyTorch 构建所带 CUDA 运行时、GPU 架构,以及 bitsandbytes 等额外二进制后端。

训练与量化环境的依赖链

建立最小可复现实验环境

以下命令以 Linux/WSL2 为例。创建独立虚拟环境后,只安装当前实验需要的核心包,避免把系统 Python 中已有的 CUDA 相关包混进来。

bash
python3 -m venv .venv
source .venv/bin/activate
python -m pip install --upgrade pip
python -m pip install torch transformers accelerate bitsandbytes
python -m pip check

预期输出

text
No broken requirements found.

安装过程中的下载日志和版本号会因平台而不同;这里真正要检查的是最后的依赖一致性结果。如果 pip check 报冲突,先解决 Python 包版本问题,再继续验证 GPU。

验证 CUDA 与模型加载

下面的脚本会同时检查 PyTorch 是否识别 CUDA、输出 GPU 名称、导入量化库,并从 Hugging Face Hub 加载一个很小的 GPT-2 测试模型。首次运行需要联网下载模型文件。

python
import torch
import bitsandbytes as bnb
from transformers import AutoModelForCausalLM, AutoTokenizer

MODEL_ID = "sshleifer/tiny-gpt2"

if not torch.cuda.is_available():
    raise SystemExit("CUDA is not available to PyTorch")

device_name = torch.cuda.get_device_name(0)
tokenizer = AutoTokenizer.from_pretrained(MODEL_ID)
model = AutoModelForCausalLM.from_pretrained(MODEL_ID).to("cuda")

inputs = tokenizer("hello", return_tensors="pt").to("cuda")
with torch.inference_mode():
    outputs = model(**inputs)

print(f"cuda_available={torch.cuda.is_available()}")
print(f"gpu={device_name}")
print(f"bitsandbytes={bnb.__version__}")
print(f"model={model.__class__.__name__}")
print(f"logits_device={outputs.logits.device.type}")

预期输出

text
cuda_available=True
gpu=<GPU_NAME>
bitsandbytes=<VERSION>
model=GPT2LMHeadModel
logits_device=cuda

<GPU_NAME> 与 <VERSION> 会随机器和安装版本变化。只要模型能完成一次前向计算并且 logits_device=cuda,就说明从 Python、Transformers 到 PyTorch CUDA 的主链路已经跑通。

按层次处理典型失败

如果 nvidia-smi 正常但 torch.cuda.is_available() 为 False,先确认当前解释器确实来自 .venv,再检查安装的 PyTorch 是否为带 CUDA 支持的构建。不要先去改 LD_LIBRARY_PATH,因为错误地注入系统 CUDA 动态库反而可能覆盖 PyTorch 自带运行时。

如果 torch 可用而 import bitsandbytes 失败,问题通常已经缩小到量化后端自身:平台不受支持、二进制架构不匹配,或加载到了错误的共享库。此时记录完整异常、Python 版本、PyTorch 版本和 GPU 型号,再决定是否更换 bitsandbytes 版本或改用其他量化后端。

如果模型下载失败,则把它与 GPU 问题分开处理:认证、代理、证书、缓存目录权限都属于模型获取链路。只有模型成功下载且前向计算落在 CUDA 上,才算真正完成训练与量化实验环境的基线验收。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

搭好训练与量化实验环境

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通