大模型原理与训练 / 系统课时

用 8 位权重降低加载显存

用 8 位权重降低加载显存

本节把同一因果语言模型分别以 FP16 与 bitsandbytes 8 位方式加载,用一致提示词记录运行时权重占用、加载峰值显存、生成峰值显存和输出文本,最终得到一套可复用的 A/B 测量方法,而不是只凭“8 位约等于减半”做容量判断。

学习目标

  • 用 BitsAndBytesConfig(load_in_8bit=True) 与 device_map="auto" 完成 8 位加载。
  • 区分检查点文件大小、模型运行时 footprint 与 CUDA 峰值显存三个指标。
  • 用同一提示词比较 FP16 与 INT8 的显存、速度和生成结果,并识别后端限制。

先分清 8 位加载压缩了什么

bitsandbytes 的 LLM.int8() 主要替换模型中的线性层计算与权重表示。普通权重走 INT8 路径,异常值会保留更高精度处理,再合并计算结果,因此它不是“把模型里每个张量都粗暴改成 int8”。LayerNorm 等非线性层仍由 dtype 等加载参数决定精度。

运行时量化也不等于原始 Hub 检查点文件自动变小。model.get_memory_footprint() 反映模型当前驻留内存,而 torch.cuda.max_memory_allocated() 记录当前进程在 CUDA 上的峰值分配;两者回答的是不同问题。若需要比较磁盘体积,应把量化模型另存后再统计保存目录。

8 位权重加载与异常值高精度路径

用同一脚本做 FP16 与 INT8 A/B

实验环境需要已安装兼容的 PyTorch、Transformers、Accelerate 与 bitsandbytes。下面脚本默认运行 INT8;把 --mode 改为 fp16 即可用同一模型、提示词和生成参数复测。为让显存指标可直接比较,本实验要求 NVIDIA CUDA,并汇总所有可见 GPU 的峰值分配。

python
import argparse
import time

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig

MODEL_ID = "facebook/opt-125m"
PROMPT = "Machine learning deployment is"

def total_peak_mib():
    total = 0
    for index in range(torch.cuda.device_count()):
        total += torch.cuda.max_memory_allocated(index)
    return total / 1024**2

def reset_peaks():
    for index in range(torch.cuda.device_count()):
        torch.cuda.reset_peak_memory_stats(index)

def synchronize_all():
    for index in range(torch.cuda.device_count()):
        with torch.cuda.device(index):
            torch.cuda.synchronize()

def load_model(mode):
    kwargs = {
        "device_map": "auto",
        "dtype": torch.float16,
    }
    if mode == "int8":
        kwargs["quantization_config"] = BitsAndBytesConfig(load_in_8bit=True)
    return AutoModelForCausalLM.from_pretrained(MODEL_ID, **kwargs)

def main():
    parser = argparse.ArgumentParser()
    parser.add_argument("--mode", choices=["fp16", "int8"], default="int8")
    args = parser.parse_args()

    if not torch.cuda.is_available():
        raise SystemExit("This benchmark requires CUDA for VRAM measurement.")

    tokenizer = AutoTokenizer.from_pretrained(MODEL_ID)
    torch.cuda.empty_cache()
    reset_peaks()

    model = load_model(args.mode)
    load_peak = total_peak_mib()
    footprint = model.get_memory_footprint() / 1024**2
    inputs = tokenizer(PROMPT, return_tensors="pt").to(next(model.parameters()).device)

    # 先预热一次,避免把首次 kernel 初始化混入吞吐测量。
    with torch.inference_mode():
        model.generate(**inputs, max_new_tokens=32, do_sample=False)
    synchronize_all()
    reset_peaks()

    started = time.perf_counter()
    with torch.inference_mode():
        output = model.generate(**inputs, max_new_tokens=32, do_sample=False)
    synchronize_all()
    elapsed = time.perf_counter() - started

    new_tokens = output.shape[-1] - inputs["input_ids"].shape[-1]
    print(f"mode={args.mode}")
    print(f"runtime_footprint_mib={footprint:.1f}")
    print(f"load_peak_allocated_mib={load_peak:.1f}")
    print(f"generate_peak_allocated_mib={total_peak_mib():.1f}")
    print(f"new_tokens={new_tokens}")
    print(f"tokens_per_second={new_tokens / elapsed:.2f}")
    print("text=" + tokenizer.decode(output[0], skip_special_tokens=True))

if __name__ == "__main__":
    main()

预期输出

text
mode=int8
runtime_footprint_mib=<MIB>
load_peak_allocated_mib=<MIB>
generate_peak_allocated_mib=<MIB>
new_tokens=<TOKENS>
tokens_per_second=<TOKENS_PER_SECOND>
text=<TEXT>

<MIB>、<TOKENS>、<TOKENS_PER_SECOND> 和 <TEXT> 会随 GPU、驱动、库版本与模型缓存而变化;验收重点是字段齐全,并用同一环境再跑一次 fp16 后比较差值。首次运行还可能出现模型下载进度,它不属于脚本的稳定输出。

怎么读这些数字

先看 runtime_footprint_mib,它最接近“量化后模型本体在内存里多大”;再看 load_peak_allocated_mib,它决定加载阶段是否会 OOM;最后看 generate_peak_allocated_mib,其中还会包含生成期间的激活、临时工作区与 KV Cache,所以不会简单等于权重大小。

8 位通常能明显降低权重相关显存,但不要期待所有模型都严格减半。Embedding、LayerNorm、缓存和运行时缓冲区不会按同一比例缩小,小模型还容易被固定开销淹没。速度也不保证更快:量化核、反量化、批大小和 GPU 架构都会改变吞吐。

质量比较必须固定提示词、解码参数和最大新 Token 数。贪心解码下,如果 FP16 与 INT8 文本一致,只能说明这个样例没有暴露差异;上线前仍应在真实验证集上比较任务指标、拒答率或人工评分,而不能把单条生成当成质量证明。

后端与设备映射的边界

bitsandbytes 的可用后端、驱动和功能支持会随版本变化,因此部署前应核对目标硬件对应的支持矩阵。本实验采用 CUDA,是为了用 torch.cuda 统一测量显存;换到其他后端时,应保留同样的 A/B 方法,但改用该平台可靠的内存统计接口。

device_map="auto" 适合快速判断模型能否装入现有设备,但多 GPU 或显存紧张时,最终层放置可能与单卡假设不同。生产部署应记录实际设备映射,不要只记录一个总显存数字。若额外启用 CPU offload,还要把 CPU 内存成本一起计入容量评估。

完成 A/B 后,只有在峰值显存满足容量目标、吞吐没有不可接受的回退、真实验证集质量仍在阈值内时,8 位加载才算真正可上线。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用 8 位权重降低加载显存

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通