大模型原理与训练 / 系统课时
用 QLoRA 降低显存开销
用 QLoRA 降低显存开销
QLoRA 把基座模型以低比特形式驻留在显存中,同时只训练 LoRA 适配器,因此能显著降低微调时的权重存储开销。本节完成一条最小 QLoRA 训练链路:4-bit 加载、k-bit 训练准备、挂载 LoRA、执行一次反向传播与参数更新,并说明 NF4、计算精度和稳定性的取舍。
学习目标
- 能用
BitsAndBytesConfig以 4-bit 方式加载基座模型 - 能区分量化存储类型与实际矩阵计算类型
- 能完成一次只更新 LoRA 参数的 QLoRA 训练步骤并验证梯度
QLoRA 节省的是基座权重存储
普通 LoRA 虽然只训练少量参数,但基座权重通常仍以 FP16、BF16 或 FP32 存放。QLoRA 进一步把冻结的基座权重量化到 4-bit,再在其上训练较高精度的 LoRA 参数。前向计算时,量化权重会按配置参与更高精度的计算,而不是把整个训练过程都变成 4-bit 算术。

这种设计减少的是模型权重与可训练状态的显存压力,但激活值、临时计算张量和注意力相关开销仍然存在。因此 QLoRA 不是“显存固定变成四分之一”,序列长度、batch size、梯度检查点和具体架构仍会影响峰值显存。
配置 4-bit 加载
在 bitsandbytes 路径中,load_in_4bit=True 开启 4-bit 权重加载;用于训练 4-bit 基座时通常选择 bnb_4bit_quant_type="nf4"。bnb_4bit_compute_dtype 决定矩阵运算采用的计算类型,支持 BF16 的 GPU 可以优先使用 torch.bfloat16,否则回退到 torch.float16。
下面示例要求可用的 CUDA GPU,并已安装 torch、transformers、peft、accelerate 与 bitsandbytes。
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
from peft import LoraConfig, TaskType, get_peft_model, prepare_model_for_kbit_training
if not torch.cuda.is_available():
raise RuntimeError("This example requires a CUDA GPU.")
model_id = "Qwen/Qwen2.5-0.5B"
# 支持 BF16 时优先使用它,否则回退到 FP16 作为计算类型。
compute_dtype = torch.bfloat16 if torch.cuda.is_bf16_supported() else torch.float16
quant_config = BitsAndBytesConfig(
load_in_4bit=True,
bnb_4bit_quant_type="nf4",
bnb_4bit_compute_dtype=compute_dtype,
bnb_4bit_use_double_quant=True,
)
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
model_id,
quantization_config=quant_config,
device_map={"": 0},
)
loaded_in_4bit = getattr(model, "is_loaded_in_4bit", False)
model.config.use_cache = False
# 先冻结并整理量化基座,再创建真正需要训练的 LoRA 参数。
model = prepare_model_for_kbit_training(model)
lora_config = LoraConfig(
task_type=TaskType.CAUSAL_LM,
target_modules="all-linear",
r=8,
lora_alpha=16,
lora_dropout=0.05,
bias="none",
)
model = get_peft_model(model, lora_config)
batch = tokenizer(
"QLoRA trains small adapters on top of a quantized base model.",
return_tensors="pt",
).to(model.device)
# 优化器只接收 requires_grad=True 的适配器参数。
optimizer = torch.optim.AdamW(
(p for p in model.parameters() if p.requires_grad),
lr=1e-4,
)
optimizer.zero_grad()
outputs = model(**batch, labels=batch["input_ids"])
outputs.loss.backward()
# 在更新前确认至少一个 LoRA 参数已经获得梯度。
has_lora_grad = any(
p.grad is not None
for name, p in model.named_parameters()
if "lora_" in name and p.requires_grad
)
optimizer.step()
print(f"loaded_in_4bit={loaded_in_4bit}")
print(f"loss_is_finite={torch.isfinite(outputs.loss).item()}")
print(f"has_lora_grad={has_lora_grad}")预期输出
loaded_in_4bit=True
loss_is_finite=True
has_lora_grad=True首次运行会下载模型,实际下载路径、耗时和显存占用会因环境不同而变化。这里验证的是三件事:基座确实以 4-bit 方式加载、前向损失没有出现非有限值、LoRA 参数确实收到梯度。
处理精度与稳定性取舍
NF4 是面向近似正态分布权重设计的 4-bit 量化格式,适合 QLoRA 风格训练。bnb_4bit_use_double_quant=True 会进一步压缩量化相关信息,通常还能减少一部分存储开销,但它并不替代对峰值显存的实际测量。
计算类型比“权重存几位”更直接影响训练数值行为。BF16 的指数范围更宽,在支持它的硬件上通常更适合训练;不支持 BF16 时使用 FP16,要更注意溢出、损失变成 inf 或 nan 等现象。若发生不稳定,先检查学习率、输入长度和计算 dtype,再考虑扩大 LoRA rank。
target_modules="all-linear" 是 QLoRA 风格的常见做法,它让 LoRA 覆盖 Transformer 中的线性层,比只改 attention 的少数投影层拥有更高适应容量,也会增加适配器参数。若显存仍紧张,可以降低 rank、减小 batch size、缩短序列或启用梯度检查点,而不是继续牺牲计算精度。
验收显存收益
不要只凭“4-bit 已开启”判断优化成功。应在同一模型、相同序列长度和 batch size 下,对比普通 LoRA 与 QLoRA 的训练峰值显存;同时检查 loss 是否有限、LoRA 参数是否有梯度、训练吞吐是否可接受。
当 4-bit 基座、较高精度计算和 LoRA 可训练参数这三层职责清楚后,QLoRA 的调优顺序就很明确:先保证数值稳定,再测峰值显存,最后在 rank、覆盖层数、序列长度和 batch size 之间做资源与效果的权衡。