大模型原理与训练 / 系统课时

保存并对比不同量化模型

保存并对比不同量化模型

量化方案只有能被统一保存、复现和评测,比较结果才有意义。本节建立一个稳定的模型包规范,并用同一脚本对 8 位、4 位、GPTQ 与 AWQ 模型测量质量、峰值显存和生成吞吐,避免把加载方式差异误当成算法差异。

学习目标

  • 统一保存 Tokenizer、模型配置、量化信息和权重元数据。
  • 用固定数据集与生成参数比较四类量化模型的质量、显存和吞吐。
  • 识别不可直接横向比较的加载参数、设备和评测条件。

先把模型保存成可复现的包

不同量化工具的权重文件名和配置字段可能不同,但交付目录至少要能回答四个问题:这是哪个基座模型、用了什么量化方案、Tokenizer 是否匹配、评测时应如何加载。

建议每个模型目录同时保留 Tokenizer 文件、模型配置、量化后权重,以及一份独立的 quantization-manifest.json。不要只记录“4 bit”,还要记录量化算法、权重位宽、激活位宽、group size、校准数据版本、量化工具及版本。

一个可复现的 manifest 可以写成:

json
{
  "baseModel": "org/model",
  "quantization": "awq",
  "weightBits": 4,
  "activationBits": 16,
  "groupSize": 128,
  "calibrationDataset": "eval-calibration-v3",
  "tool": "autoawq",
  "toolVersion": "<VERSION>"
}

这里的 <VERSION> 应替换为实际环境版本。manifest 不参与推理,但它决定后续能否解释质量差异和重新构建同一模型。

固定比较条件

横向比较时只改变“模型版本”,其他条件尽量固定:同一 GPU、同一批 prompt、同一最大输入长度、同一 max_new_tokens、相同采样策略和预热次数。吞吐应在预热后统计,并明确是输出 token/s 还是总 token/s。

质量指标也必须固定。示例采用精确匹配率作为最小可复现实验;真实任务可以替换为困惑度、ROUGE、BLEU、pass@k 或业务评分,但四个模型必须使用同一计算逻辑。

用同一脚本执行评测

下面脚本假设四个本地目录都能由 Hugging Face transformers 直接加载;GPTQ 或 AWQ 若需要额外后端,请先安装对应运行依赖。评测数据为 JSONL,每行包含 prompt 与 answer。

python
import argparse
import json
import time
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

def load_dataset(path: str):
    rows = []
    with open(path, "r", encoding="utf-8") as f:
        for line in f:
            if line.strip():
                rows.append(json.loads(line))
    return rows

def evaluate(label: str, model_path: str, rows, max_new_tokens: int):
    tokenizer = AutoTokenizer.from_pretrained(model_path, use_fast=True)
    model = AutoModelForCausalLM.from_pretrained(
        model_path,
        device_map="auto",
        torch_dtype="auto"
    )
    model.eval()

    # 先预热一次,避免首次加载 CUDA kernel 影响吞吐统计。
    warmup = tokenizer("hello", return_tensors="pt").to(model.device)
    with torch.inference_mode():
        model.generate(**warmup, max_new_tokens=4, do_sample=False)

    torch.cuda.reset_peak_memory_stats()
    correct = 0
    generated_tokens = 0
    started = time.perf_counter()

    for row in rows:
        inputs = tokenizer(row["prompt"], return_tensors="pt").to(model.device)
        with torch.inference_mode():
            output = model.generate(
                **inputs,
                max_new_tokens=max_new_tokens,
                do_sample=False
            )
        new_tokens = output[0, inputs["input_ids"].shape[1]:]
        text = tokenizer.decode(new_tokens, skip_special_tokens=True).strip()
        correct += int(text == row["answer"].strip())
        generated_tokens += int(new_tokens.numel())

    elapsed = time.perf_counter() - started
    peak_gib = torch.cuda.max_memory_allocated() / (1024 ** 3)
    return {
        "model": label,
        "exact_match": correct / len(rows),
        "peak_vram_gib": peak_gib,
        "output_tokens_per_s": generated_tokens / elapsed
    }

def main():
    parser = argparse.ArgumentParser()
    parser.add_argument("--dataset", required=True)
    parser.add_argument("--model", action="append", required=True,
                        help="格式:标签=模型目录,可重复传入")
    parser.add_argument("--max-new-tokens", type=int, default=64)
    args = parser.parse_args()

    if not torch.cuda.is_available():
        raise RuntimeError("需要 CUDA GPU 才能测量峰值显存")

    rows = load_dataset(args.dataset)
    if not rows:
        raise ValueError("评测集不能为空")

    for item in args.model:
        label, path = item.split("=", 1)
        result = evaluate(label, path, rows, args.max_new_tokens)
        print(json.dumps(result, ensure_ascii=False))

if __name__ == "__main__":
    main()

运行时把 <PATH> 替换为本机真实目录:

bash
python compare_quantized.py   --dataset <PATH>/eval.jsonl   --model 8bit=<PATH>/model-8bit   --model 4bit=<PATH>/model-4bit   --model gptq=<PATH>/model-gptq   --model awq=<PATH>/model-awq

预期输出中的数值取决于模型、数据集与 GPU,因此使用动态占位符:

text
{"model":"8bit","exact_match":<SCORE>,"peak_vram_gib":<VRAM_GIB>,"output_tokens_per_s":<TOKENS_PER_S>}
{"model":"4bit","exact_match":<SCORE>,"peak_vram_gib":<VRAM_GIB>,"output_tokens_per_s":<TOKENS_PER_S>}
{"model":"gptq","exact_match":<SCORE>,"peak_vram_gib":<VRAM_GIB>,"output_tokens_per_s":<TOKENS_PER_S>}
{"model":"awq","exact_match":<SCORE>,"peak_vram_gib":<VRAM_GIB>,"output_tokens_per_s":<TOKENS_PER_S>}

<SCORE>、<VRAM_GIB> 和 <TOKENS_PER_S> 的实际值会随硬件、模型和数据变化。比较时应保留完整原始结果,而不是只记“最快”或“最省显存”。

按同一张表做取舍

最终可以把四组结果整理成同一维度的决策表:

版本 质量 峰值显存 输出吞吐 结论
8 位 实测 实测 实测 质量基线
4 位 实测 实测 实测 通用低显存候选
GPTQ 实测 实测 实测 关注目标 GPU 与内核支持
AWQ 实测 实测 实测 关注激活感知校准与运行后端

不能只按位宽排序。两个同为 4 位的模型,可能因为量化算法、group size、校准数据、推理内核和加载实现不同,在质量与吞吐上出现明显差异。真正可上线的方案,是在统一保存协议和统一评测条件下满足业务阈值的那个版本。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

保存并对比不同量化模型

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通