大模型原理与训练 / 系统课时

理解 4bit 量化训练链路

理解 4bit 量化训练链路

QLoRA 的关键不是“用 4bit 做所有训练计算”,而是把冻结的基座权重以 4bit 保存,在计算时按需反量化,同时只让 LoRA 适配器接收梯度和更新。本篇把存储精度、计算精度与可训练参数拆开,建立一条不会混淆的前向与反向链路。

学习目标

  • 说明基座权重、反量化计算与 LoRA 权重分别承担什么职责。
  • 判断哪些参数被冻结、哪些张量需要梯度与优化器状态。
  • 沿一次前向和反向传播解释 QLoRA 为什么能显著降低参数相关显存。

QLoRA 真正压缩的是基座权重存储

标准 LoRA 已经冻结大模型基座,只训练低秩矩阵;QLoRA 再把冻结基座从 FP16/BF16 等高精度权重压到 4bit 表示。训练时长期驻留显存的是量化后的权重及其量化元数据,而不是一份完整的高精度基座参数。

4bit 并不意味着矩阵乘法直接以 4bit 完成。典型实现会在算子内部按块读取量化权重,用对应缩放信息恢复到指定计算类型,再与激活做矩阵乘法。这个恢复过程是按需进行的,不需要长期保存另一份完整的 BF16 基座副本。

QLoRA 前向与反向的数据流

前向计算和反向更新走的是两条路径

一次线性层计算可以理解为两条支路相加:基座支路读取量化权重并临时反量化,LoRA 支路用可训练的低秩矩阵计算增量。前向时两条支路都影响输出,因此损失函数仍然“看得到”完整模型能力。

反向传播时,冻结基座不需要保存参数梯度,也不需要为它建立 Adam 的一阶、二阶状态;梯度只用于求出 LoRA 参数的更新量。激活及其反向所需中间量仍可能以 BF16、FP16 或 FP32 存在,所以 QLoRA 主要减少的是参数、参数梯度与优化器状态相关的显存,并不会自动消除长序列带来的激活显存。

用最小实验观察冻结与梯度

下面用一个教学版线性层模拟这条链路。为了便于观察,4bit 码值放在 int8 容器里,并没有做真实的半字节打包;生产实现通常采用分块量化和专用内核,因此这个示例只验证“冻结量化基座、反量化参与前向、梯度只进入 LoRA”的关系。

python
import torch
from torch import nn

torch.manual_seed(7)

def quantize_4bit_symmetric(weight: torch.Tensor):
    scale = weight.abs().max() / 7
    q = torch.clamp(torch.round(weight / scale), -8, 7).to(torch.int8)
    return q, scale

class TinyQLoRALinear(nn.Module):
    def __init__(self, in_features: int, out_features: int, rank: int):
        super().__init__()
        base = torch.randn(out_features, in_features)
        q_weight, scale = quantize_4bit_symmetric(base)

        # 量化基座注册为 buffer,因此不会进入可训练参数集合。
        self.register_buffer("q_weight", q_weight)
        self.register_buffer("scale", scale)

        # 只有 LoRA 低秩矩阵参与梯度更新。
        self.lora_a = nn.Parameter(torch.randn(rank, in_features) * 0.01)
        self.lora_b = nn.Parameter(torch.randn(out_features, rank) * 0.01)

    def forward(self, x: torch.Tensor):
        base_weight = self.q_weight.to(torch.float32) * self.scale
        lora_weight = self.lora_b @ self.lora_a
        return x @ (base_weight + lora_weight).T

model = TinyQLoRALinear(4, 3, rank=2)
loss = model(torch.ones(2, 4)).square().mean()
loss.backward()

trainable = [name for name, _ in model.named_parameters()]
print(model.q_weight.dtype)
print(trainable)
print(model.lora_a.grad is not None, model.lora_b.grad is not None)

预期输出

text
torch.int8
['lora_a', 'lora_b']
True True

这里的 int8 只是承载取值范围为 4bit 的教学码值,不能据此估算真实显存;真正的 4bit 内核会使用更紧凑的存储。关键观察是:基座权重没有出现在 named_parameters() 中,而两个 LoRA 矩阵都有梯度。

分清长期驻留与临时计算张量

对象 常见精度或形式 是否训练更新 显存含义
基座权重 4bit 量化存储 否 QLoRA 最主要的参数显存节省来源
量化缩放等元数据 高于 4bit,按块保存 否 体积较小,但仍有额外开销
反量化后的计算值 BF16、FP16 或 FP32 否 算子计算时临时出现,不等于长期复制整模型
LoRA A/B 通常 BF16、FP16 或 FP32 是 需要参数、梯度,通常还需要优化器状态
激活与反向中间量 依训练配置而定 不作为参数更新 长序列和大 batch 下仍可能成为显存主因

因此,看到“4bit QLoRA”时应先问三个问题:4bit 存在哪里、矩阵乘法用什么计算类型、优化器到底管理哪些参数。这三个答案分别对应存储、计算和更新,只有把它们分开,才能正确判断显存占用与数值行为。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

理解 4bit 量化训练链路

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通