大模型原理与训练 / 系统课时

验证 CUDA 与混合精度能力

验证 CUDA 与混合精度能力

训练前先把“GPU 能否被框架正确使用”和“该用 BF16 还是 FP16”验证清楚。本文用驱动查询、PyTorch 能力检测和一次最小矩阵计算,确认设备可见性、精度支持与实际计算路径,避免到微调阶段才暴露兼容问题。

学习目标

  • 检查驱动、GPU 型号、显存和 CUDA 运行环境是否可见。
  • 用 PyTorch 判断 CUDA、BF16 与 FP16 相关能力,并完成最小计算验证。
  • 根据硬件能力选择 BF16、FP16 或回退方案。

先确认驱动与 GPU 可见

第一层只验证操作系统和驱动。nvidia-smi 能正常返回 GPU,说明 NVIDIA 驱动已工作;它显示的 CUDA Version 表示驱动可支持的最高 CUDA 版本,不等于当前 Python 环境实际链接的 CUDA Runtime 版本。

bash
nvidia-smi --query-gpu=name,driver_version,memory.total --format=csv,noheader

预期输出

text
NVIDIA <GPU_MODEL>, <DRIVER_VERSION>, <MEMORY_TOTAL> MiB

型号、驱动版本和显存会因机器而不同。若命令不存在、提示无法与驱动通信,或根本看不到目标 GPU,应先修复驱动或容器的 GPU 映射,不要继续排查训练代码。

用 PyTorch 做能力探测

下面的最小脚本同时检查 PyTorch 自身版本、它编译时绑定的 CUDA Runtime、GPU 名称、BF16 支持情况,并分别尝试 FP16 与 BF16 矩阵乘法。它比只看版本号更可靠,因为最终验证的是实际张量能否在目标精度下执行。

python
import torch

def try_matmul(dtype: torch.dtype) -> None:
    x = torch.randn((256, 256), device="cuda", dtype=dtype)
    y = torch.randn((256, 256), device="cuda", dtype=dtype)
    z = x @ y
    print(f"{dtype}: ok, shape={tuple(z.shape)}, device={z.device}")

def main() -> None:
    print("torch:", torch.__version__)
    print("torch_cuda:", torch.version.cuda)
    print("cuda_available:", torch.cuda.is_available())

    if not torch.cuda.is_available():
        raise SystemExit("CUDA is not available to PyTorch")

    print("gpu:", torch.cuda.get_device_name(0))
    print("bf16_supported:", torch.cuda.is_bf16_supported())
    try_matmul(torch.float16)

    if torch.cuda.is_bf16_supported():
        try_matmul(torch.bfloat16)

if __name__ == "__main__":
    main()

预期输出

text
torch: <TORCH_VERSION>
torch_cuda: <CUDA_RUNTIME_VERSION>
cuda_available: True
gpu: <GPU_MODEL>
bf16_supported: True
torch.float16: ok, shape=(256, 256), device=cuda:0
torch.bfloat16: ok, shape=(256, 256), device=cuda:0

如果 bf16_supported 为 False,最后一行不会出现,这是脚本的预期分支,并不代表 CUDA 故障。版本、型号和 Runtime 版本属于动态值,实际结果可能不同。

CUDA 与混合精度验证链路

选择 BF16、FP16 还是回退

如果硬件原生支持 BF16,训练大模型时通常优先选择 BF16。它与 FP32 具有相同的指数位宽,数值范围更大,较少因为梯度过大或过小触发溢出;代价是尾数精度低于 FP16,但对神经网络训练通常更稳定。

FP16 适合支持 Tensor Core 但缺少 BF16 能力的较早 GPU。FP16 的数值范围更窄,训练时往往需要梯度缩放。若 CUDA 本身不可用,或目标算子在半精度下持续报错,应先退回 FP32 验证功能正确,再定位驱动、PyTorch、CUDA Runtime 与算子兼容性。

常见失败的定位顺序

遇到 torch.cuda.is_available() 为 False 时,先看 nvidia-smi。如果系统层已经失败,问题通常在驱动或容器映射;如果系统层正常而 PyTorch 看不到 CUDA,则重点检查是否误装 CPU 版 PyTorch,以及当前环境的 PyTorch 构建与驱动是否兼容。

如果 CUDA 可见但半精度矩阵计算失败,先确认失败只发生在某个 dtype 还是所有 CUDA 计算都失败。仅 BF16 失败时可以改用 FP16;FP16 与 BF16 都失败时,则不应直接开始 LoRA 或 QLoRA 训练。先把最小张量计算跑通,后续出现的显存不足、量化算子缺失或训练参数问题才有明确的排查边界。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

验证 CUDA 与混合精度能力

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通