大模型原理与训练 / 系统课时
用量化压缩模型占用
用量化压缩模型占用
这一节把同一个因果语言模型分别以 FP16、8bit 和 4bit 加载并做一次确定性生成,记录模型内存占用、CUDA 峰值和推理耗时。完成后你能用目标设备上的实测结果,而不是只看“位宽更低”来决定是否量化。
学习目标
- 使用
BitsAndBytesConfig以 8bit 或 4bit 加载 Transformers 模型 - 对比三种精度的模型占用、生成耗时与文本差异
- 根据显存预算、延迟和输出稳定性判断量化方案
量化压缩的到底是什么
以 FP16 权重为基线,8bit 和 4bit 会把大量线性层权重改成更低位宽的表示,因此权重存储通常显著下降。但总显存不会严格按 1/2 或 1/4 缩放:未量化模块、量化尺度与元数据、临时张量、激活以及生成时不断增长的 KV Cache 都仍会占空间。
量化也不等于必然加速。低位宽权重减少了内存带宽压力,但计算时可能需要反量化或调用特定内核;模型大小、GPU 架构、批量大小和序列长度不同,4bit 完全可能比 FP16 或 8bit 更慢。因此评估时至少同时看占用、延迟和输出。
| 加载方式 | 权重占用趋势 | 输出风险 | 更适合的目标 |
|---|---|---|---|
| FP16 | 最高 | 基线 | 显存充足,优先稳定吞吐 |
| 8bit | 明显降低 | 通常较小 | 想省显存且希望接近基线 |
| 4bit | 进一步降低 | 更需验证 | 显存紧张,模型否则无法装入 |
跑一次三档对比
下面示例假设有可用 CUDA GPU,并已安装兼容版本的 transformers、accelerate 与 bitsandbytes。脚本逐个加载模型,上一档释放后再测下一档,避免三个模型同时驻留导致显存结果失真。do_sample=False 固定解码策略,便于观察量化本身造成的文本差异。
import gc
import time
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
MODEL_ID = "Qwen/Qwen2.5-0.5B-Instruct"
PROMPT = "用两句话解释为什么线上推理要测量 P95 延迟。"
if not torch.cuda.is_available():
raise SystemExit("This example requires a CUDA GPU.")
tokenizer = AutoTokenizer.from_pretrained(MODEL_ID)
def load_model(mode: str):
common = {
"dtype": torch.float16,
"device_map": "auto",
}
if mode == "fp16":
return AutoModelForCausalLM.from_pretrained(MODEL_ID, **common)
if mode == "8bit":
config = BitsAndBytesConfig(load_in_8bit=True)
return AutoModelForCausalLM.from_pretrained(
MODEL_ID,
quantization_config=config,
**common,
)
config = BitsAndBytesConfig(
load_in_4bit=True,
bnb_4bit_quant_type="nf4",
bnb_4bit_compute_dtype=torch.float16,
)
return AutoModelForCausalLM.from_pretrained(
MODEL_ID,
quantization_config=config,
**common,
)
for mode in ("fp16", "8bit", "4bit"):
gc.collect()
torch.cuda.empty_cache()
torch.cuda.reset_peak_memory_stats()
model = load_model(mode)
inputs = tokenizer(PROMPT, return_tensors="pt").to(model.device)
torch.cuda.synchronize()
start = time.perf_counter()
with torch.inference_mode():
output_ids = model.generate(
**inputs,
max_new_tokens=48,
do_sample=False,
)
torch.cuda.synchronize()
elapsed = time.perf_counter() - start
text = tokenizer.decode(output_ids[0], skip_special_tokens=True)
print(f"mode={mode}")
print(f"model_footprint_gib={model.get_memory_footprint() / 1024**3:.3f}")
print(f"peak_cuda_gib={torch.cuda.max_memory_allocated() / 1024**3:.3f}")
print(f"generation_seconds={elapsed:.3f}")
print(f"text={text}")
print()
del model, inputs, output_ids预期输出
mode=fp16
model_footprint_gib=<MEMORY>
peak_cuda_gib=<MEMORY>
generation_seconds=<TIME>
text=<GENERATED_TEXT>
mode=8bit
model_footprint_gib=<MEMORY>
peak_cuda_gib=<MEMORY>
generation_seconds=<TIME>
text=<GENERATED_TEXT>
mode=4bit
model_footprint_gib=<MEMORY>
peak_cuda_gib=<MEMORY>
generation_seconds=<TIME>
text=<GENERATED_TEXT><MEMORY>、<TIME> 和 <GENERATED_TEXT> 会随硬件、驱动、库版本与模型缓存状态变化。真正要比较的是三档之间的相对关系;首次运行还可能包含权重下载与内核初始化,因此延迟测试应在预热后重复多次。
读懂占用与输出差异
get_memory_footprint() 更接近模型参数、缓冲区本身的占用,CUDA 峰值则会把推理过程中的临时分配也反映出来。服务能否稳定运行要以后者为重要参考,并额外给 KV Cache、批处理和运行时碎片留余量。
文本对比不要只看“句子是否一样”。分类、抽取、检索重排这类任务应在固定验证集上比较准确率或业务指标;生成任务则应固定提示词、解码参数和最大长度,再比较任务成功率、格式遵循率与必要的人工评审。若 4bit 省下的显存能换来更大批量,也要把吞吐收益一起计入。
什么时候选 8bit 或 4bit
显存只差一点就能装下模型时,先试 8bit,通常更容易在资源节省和输出稳定性之间取得平衡。只有 8bit 仍放不下,或设备显存非常有限时,再把 4bit 作为主要候选,并针对真实任务做回归测试。
最终选择应以“满足质量门槛的前提下,占用最小且吞吐或延迟达标”为标准。量化的价值是换取部署空间,不是追求某个固定的位宽数字。