大模型原理与训练 / 系统课时

配置计算精度与量化参数

配置计算精度与量化参数

QLoRA 的 4bit 主要决定基座权重如何存储,真正参与矩阵计算的精度仍要单独配置。本节把 NF4、计算 dtype 与 double quant 组合成一套可检查的配置,并根据 GPU 是否支持 BF16 自动选择 BF16 或 FP16,避免精度不匹配带来的溢出和无谓开销。

学习目标

  • 说清 bnb_4bit_quant_type、bnb_4bit_compute_dtype 与 bnb_4bit_use_double_quant 分别控制什么
  • 根据 GPU 能力在 BF16 与 FP16 之间做出可复现的选择
  • 用代码检查最终量化配置,发现常见的 dtype 错配

三个参数分别控制什么

load_in_4bit=True 会把支持的线性层权重以 4bit 形式加载。训练场景通常选择 bnb_4bit_quant_type="nf4":NF4 针对近似正态分布的权重设计,适合作为 QLoRA 的 4bit 基座权重量化类型。

bnb_4bit_compute_dtype 控制 4bit 权重参与计算时使用的 dtype。它不是“把模型重新存成 BF16 或 FP16”,而是在低位宽权重存储之上选择矩阵运算所采用的计算精度。

bnb_4bit_use_double_quant=True 会继续量化第一次量化所需的量化常数,从而进一步降低存储开销。它主要影响量化元数据的显存占用,不等同于把 4bit 权重再次降成更低位宽。

按 GPU 能力选择计算精度

优先依据运行时能力判断,而不是只看显卡型号。若 torch.cuda.is_bf16_supported() 返回 True,通常可将计算 dtype 设为 BF16;否则回退到 FP16。BF16 的指数范围更大,在训练中通常比 FP16 更不容易因数值过大产生溢出。

生成并检查量化配置

下面的脚本只创建配置并打印关键值,不下载模型,因此适合先在目标机器上确认精度选择。运行前需要已安装 torch、transformers 与 bitsandbytes。

python
import torch
from transformers import BitsAndBytesConfig

if not torch.cuda.is_available():
    raise RuntimeError("QLoRA 训练需要可用的 CUDA GPU")

compute_dtype = (
    torch.bfloat16
    if torch.cuda.is_bf16_supported()
    else torch.float16
)

quant_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=compute_dtype,
    bnb_4bit_use_double_quant=True,
)

print(f"compute_dtype={quant_config.bnb_4bit_compute_dtype}")
print(f"quant_type={quant_config.bnb_4bit_quant_type}")
print(f"double_quant={quant_config.bnb_4bit_use_double_quant}")

预期输出

text
compute_dtype=<DTYPE>
quant_type=nf4
double_quant=True

其中 <DTYPE> 会随机器能力变成 torch.bfloat16 或 torch.float16,实际值可能不同。

避免 dtype 错配

如果 GPU 明明支持 BF16,却仍把 QLoRA 计算固定成 FP16,训练未必立即报错,但数值范围更窄,更容易在激活或梯度较大时出现溢出。反过来,在不支持 BF16 的设备上强行指定 BF16,则可能直接失败或进入不理想的执行路径。

还要注意模型加载时的非量化模块精度。实际加载模型时,应让 dtype 与预期训练精度协调,并在后续 k-bit 训练准备阶段让 PEFT 处理需要保持更高精度的模块。遇到 NaN、loss 突然爆炸或吞吐异常时,先打印量化配置和关键参数 dtype,再继续排查学习率或训练数据。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

配置计算精度与量化参数

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通