大模型原理与训练 / 系统课时

用量化压缩模型占用

用量化压缩模型占用

这一节把同一个因果语言模型分别以 FP16、8bit 和 4bit 加载并做一次确定性生成,记录模型内存占用、CUDA 峰值和推理耗时。完成后你能用目标设备上的实测结果,而不是只看“位宽更低”来决定是否量化。

学习目标

  • 使用 BitsAndBytesConfig 以 8bit 或 4bit 加载 Transformers 模型
  • 对比三种精度的模型占用、生成耗时与文本差异
  • 根据显存预算、延迟和输出稳定性判断量化方案

量化压缩的到底是什么

以 FP16 权重为基线,8bit 和 4bit 会把大量线性层权重改成更低位宽的表示,因此权重存储通常显著下降。但总显存不会严格按 1/2 或 1/4 缩放:未量化模块、量化尺度与元数据、临时张量、激活以及生成时不断增长的 KV Cache 都仍会占空间。

量化也不等于必然加速。低位宽权重减少了内存带宽压力,但计算时可能需要反量化或调用特定内核;模型大小、GPU 架构、批量大小和序列长度不同,4bit 完全可能比 FP16 或 8bit 更慢。因此评估时至少同时看占用、延迟和输出。

加载方式 权重占用趋势 输出风险 更适合的目标
FP16 最高 基线 显存充足,优先稳定吞吐
8bit 明显降低 通常较小 想省显存且希望接近基线
4bit 进一步降低 更需验证 显存紧张,模型否则无法装入

跑一次三档对比

下面示例假设有可用 CUDA GPU,并已安装兼容版本的 transformers、accelerate 与 bitsandbytes。脚本逐个加载模型,上一档释放后再测下一档,避免三个模型同时驻留导致显存结果失真。do_sample=False 固定解码策略,便于观察量化本身造成的文本差异。

python
import gc
import time

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig

MODEL_ID = "Qwen/Qwen2.5-0.5B-Instruct"
PROMPT = "用两句话解释为什么线上推理要测量 P95 延迟。"

if not torch.cuda.is_available():
    raise SystemExit("This example requires a CUDA GPU.")

tokenizer = AutoTokenizer.from_pretrained(MODEL_ID)

def load_model(mode: str):
    common = {
        "dtype": torch.float16,
        "device_map": "auto",
    }
    if mode == "fp16":
        return AutoModelForCausalLM.from_pretrained(MODEL_ID, **common)
    if mode == "8bit":
        config = BitsAndBytesConfig(load_in_8bit=True)
        return AutoModelForCausalLM.from_pretrained(
            MODEL_ID,
            quantization_config=config,
            **common,
        )
    config = BitsAndBytesConfig(
        load_in_4bit=True,
        bnb_4bit_quant_type="nf4",
        bnb_4bit_compute_dtype=torch.float16,
    )
    return AutoModelForCausalLM.from_pretrained(
        MODEL_ID,
        quantization_config=config,
        **common,
    )

for mode in ("fp16", "8bit", "4bit"):
    gc.collect()
    torch.cuda.empty_cache()
    torch.cuda.reset_peak_memory_stats()

    model = load_model(mode)
    inputs = tokenizer(PROMPT, return_tensors="pt").to(model.device)

    torch.cuda.synchronize()
    start = time.perf_counter()
    with torch.inference_mode():
        output_ids = model.generate(
            **inputs,
            max_new_tokens=48,
            do_sample=False,
        )
    torch.cuda.synchronize()
    elapsed = time.perf_counter() - start

    text = tokenizer.decode(output_ids[0], skip_special_tokens=True)
    print(f"mode={mode}")
    print(f"model_footprint_gib={model.get_memory_footprint() / 1024**3:.3f}")
    print(f"peak_cuda_gib={torch.cuda.max_memory_allocated() / 1024**3:.3f}")
    print(f"generation_seconds={elapsed:.3f}")
    print(f"text={text}")
    print()

    del model, inputs, output_ids

预期输出

text
mode=fp16
model_footprint_gib=<MEMORY>
peak_cuda_gib=<MEMORY>
generation_seconds=<TIME>
text=<GENERATED_TEXT>

mode=8bit
model_footprint_gib=<MEMORY>
peak_cuda_gib=<MEMORY>
generation_seconds=<TIME>
text=<GENERATED_TEXT>

mode=4bit
model_footprint_gib=<MEMORY>
peak_cuda_gib=<MEMORY>
generation_seconds=<TIME>
text=<GENERATED_TEXT>

<MEMORY>、<TIME> 和 <GENERATED_TEXT> 会随硬件、驱动、库版本与模型缓存状态变化。真正要比较的是三档之间的相对关系;首次运行还可能包含权重下载与内核初始化,因此延迟测试应在预热后重复多次。

读懂占用与输出差异

get_memory_footprint() 更接近模型参数、缓冲区本身的占用,CUDA 峰值则会把推理过程中的临时分配也反映出来。服务能否稳定运行要以后者为重要参考,并额外给 KV Cache、批处理和运行时碎片留余量。

文本对比不要只看“句子是否一样”。分类、抽取、检索重排这类任务应在固定验证集上比较准确率或业务指标;生成任务则应固定提示词、解码参数和最大长度,再比较任务成功率、格式遵循率与必要的人工评审。若 4bit 省下的显存能换来更大批量,也要把吞吐收益一起计入。

什么时候选 8bit 或 4bit

显存只差一点就能装下模型时,先试 8bit,通常更容易在资源节省和输出稳定性之间取得平衡。只有 8bit 仍放不下,或设备显存非常有限时,再把 4bit 作为主要候选,并针对真实任务做回归测试。

最终选择应以“满足质量门槛的前提下,占用最小且吞吐或延迟达标”为标准。量化的价值是换取部署空间,不是追求某个固定的位宽数字。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用量化压缩模型占用

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通