大模型原理与训练 / 系统课时

保留对量化敏感的高精度层

保留对量化敏感的高精度层

全模型统一低比特并不总是最优方案。这一节用逐层消融测量“只量化某一层”带来的输出误差,再把最敏感位置保留为高精度,同时计算额外的权重存储成本。最终得到的是基于测量结果的混合精度策略,而不是固定白名单。

学习目标

  • 用逐层量化消融定位对低比特误差最敏感的模块
  • 判断输入输出层、归一化层等候选位置是否值得保留高精度
  • 量化混合精度方案相对全低比特路径增加的存储代价

先建立可比较的敏感度基线

逐层敏感度测试的核心是只改变一个变量。先用完整浮点模型在同一批代表性输入上得到基线输出,再复制模型,每次只把一个候选层切到目标低位宽,其余层保持原状。量化模型与基线之间的误差越大,该层越值得进入高精度候选集合。

可以先使用输出 MSE、余弦相似度或 logits 差异做快速筛查,但最终决策应回到任务指标,例如分类准确率、困惑度或生成质量。用于筛查的数据也必须覆盖真实输入分布,否则得到的“敏感层”很可能只是校准批次的偶然结果。

逐层量化敏感度与混合精度决策流程

用逐层消融找出敏感权重

下面的完整示例构造包含三个 Linear 层和一个 LayerNorm 的小模型。每次只把一个 Linear 的权重量化到 INT4 网格,通过输出 MSE 排序;LayerNorm 则故意保持高精度。示例的成本统计只计算三个矩阵权重,不包含 bias 和 LayerNorm 参数。

python
import copy
import torch
from torch import nn


torch.manual_seed(7)


class TinyNet(nn.Module):
    def __init__(self):
        super().__init__()
        self.fc1 = nn.Linear(8, 16)
        self.norm = nn.LayerNorm(16)
        self.act = nn.GELU()
        self.fc2 = nn.Linear(16, 8)
        self.fc3 = nn.Linear(8, 4)

    def forward(self, x: torch.Tensor) -> torch.Tensor:
        x = self.act(self.norm(self.fc1(x)))
        x = self.act(self.fc2(x))
        return self.fc3(x)


def quantize_weight_(layer: nn.Linear, bits: int = 4) -> None:
    qmax = 2 ** (bits - 1) - 1
    with torch.no_grad():
        w = layer.weight
        scale = w.abs().max().clamp(min=1e-8) / qmax
        w.copy_(torch.clamp(torch.round(w / scale), -qmax, qmax) * scale)


model = TinyNet().eval()
x = torch.randn(64, 8)

with torch.no_grad():
    baseline = model(x)

errors = {}
weight_counts = {}

for name, module in model.named_modules():
    if not isinstance(module, nn.Linear):
        continue

    candidate = copy.deepcopy(model)
    candidate_layer = dict(candidate.named_modules())[name]
    quantize_weight_(candidate_layer, bits=4)

    with torch.no_grad():
        candidate_output = candidate(x)
        errors[name] = torch.mean((candidate_output - baseline) ** 2).item()

    weight_counts[name] = module.weight.numel()

ranked = sorted(errors.items(), key=lambda item: item[1], reverse=True)
keep_fp32 = {ranked[0][0]}

all_int4_bits = sum(count * 4 for count in weight_counts.values())
all_fp32_bits = sum(count * 32 for count in weight_counts.values())
mixed_bits = sum(
    count * (32 if name in keep_fp32 else 4)
    for name, count in weight_counts.items()
)

print(f'tested_layers={len(errors)}')
print(f'all_errors_nonnegative={all(value >= 0 for value in errors.values())}')
print(f'selected_fp32={next(iter(keep_fp32))}')
print(f'selected_fp32_layers={len(keep_fp32)}')
print(f'extra_storage_bits={mixed_bits - all_int4_bits}')
print(f'mixed_between_int4_and_fp32={all_int4_bits < mixed_bits < all_fp32_bits}')

预期输出

text
tested_layers=3
all_errors_nonnegative=True
selected_fp32=<LAYER>
selected_fp32_layers=1
extra_storage_bits=<BITS>
mixed_between_int4_and_fp32=True

具体层名和额外 bit 数由本次误差排序决定;在真实模型中还会随权重、校准数据和量化方式变化。这里最重要的是测试过程始终只改一个候选层,因此误差能够归因到该层,而混合精度成本也能直接从参数量和位宽计算出来。

哪些位置应该优先检查

输入附近的投影层会直接改变后续所有特征,因此误差可能被层层传播;输出投影或分类头直接决定最终 logits,小幅数值偏差也可能改变排序。它们值得优先测试,但不能未经测量就永久保留 FP32。

LayerNorm、RMSNorm 等归一化模块通常参数量很小,却包含均值、方差或归一化缩放等对数值范围敏感的计算。在许多部署方案中,让归一化计算继续使用 FP16、BF16 或 FP32,只牺牲很少的压缩收益,却能降低数值风险。具体是否需要如此仍应以目标硬件和端到端验证为准。

把精度收益和混合精度代价放在一起

保留高精度层会同时增加权重存储、显存占用和潜在的类型转换开销。对于包含 n 个参数的层,从 INT4 改回 FP32,相比纯 INT4 会为每个参数额外增加 28 bit;如果只保留参数量很小的敏感模块,成本通常可控,但保留大型矩阵时压缩比会迅速下降。

因此不要按照“误差最大的若干层”机械地全部回退。更实用的做法是从误差最高的层开始逐个恢复高精度,每次重新执行端到端任务评估,并记录模型大小、峰值显存和推理延迟。当任务指标已经回到目标阈值时停止增加高精度层。

避免把逐层误差当成最终答案

单层消融只能估计局部敏感度。多个低比特层同时存在时,误差可能相互放大,也可能被后续归一化或残差结构部分抵消,因此逐层排名不能直接预测最终混合精度模型的质量。

生产方案应把逐层测试作为搜索起点:先筛出敏感候选,再生成少量混合精度组合,最后使用真实量化后端执行端到端精度、显存和延迟验证。只有同时满足任务指标和部署预算的组合,才是真正可上线的高低精度边界。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

保留对量化敏感的高精度层

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通