大模型原理与训练 / 系统课时
保存并对比不同量化模型
保存并对比不同量化模型
量化方案只有能被统一保存、复现和评测,比较结果才有意义。本节建立一个稳定的模型包规范,并用同一脚本对 8 位、4 位、GPTQ 与 AWQ 模型测量质量、峰值显存和生成吞吐,避免把加载方式差异误当成算法差异。
学习目标
- 统一保存 Tokenizer、模型配置、量化信息和权重元数据。
- 用固定数据集与生成参数比较四类量化模型的质量、显存和吞吐。
- 识别不可直接横向比较的加载参数、设备和评测条件。
先把模型保存成可复现的包
不同量化工具的权重文件名和配置字段可能不同,但交付目录至少要能回答四个问题:这是哪个基座模型、用了什么量化方案、Tokenizer 是否匹配、评测时应如何加载。
建议每个模型目录同时保留 Tokenizer 文件、模型配置、量化后权重,以及一份独立的 quantization-manifest.json。不要只记录“4 bit”,还要记录量化算法、权重位宽、激活位宽、group size、校准数据版本、量化工具及版本。
一个可复现的 manifest 可以写成:
{
"baseModel": "org/model",
"quantization": "awq",
"weightBits": 4,
"activationBits": 16,
"groupSize": 128,
"calibrationDataset": "eval-calibration-v3",
"tool": "autoawq",
"toolVersion": "<VERSION>"
}这里的 <VERSION> 应替换为实际环境版本。manifest 不参与推理,但它决定后续能否解释质量差异和重新构建同一模型。
固定比较条件
横向比较时只改变“模型版本”,其他条件尽量固定:同一 GPU、同一批 prompt、同一最大输入长度、同一 max_new_tokens、相同采样策略和预热次数。吞吐应在预热后统计,并明确是输出 token/s 还是总 token/s。
质量指标也必须固定。示例采用精确匹配率作为最小可复现实验;真实任务可以替换为困惑度、ROUGE、BLEU、pass@k 或业务评分,但四个模型必须使用同一计算逻辑。
用同一脚本执行评测
下面脚本假设四个本地目录都能由 Hugging Face transformers 直接加载;GPTQ 或 AWQ 若需要额外后端,请先安装对应运行依赖。评测数据为 JSONL,每行包含 prompt 与 answer。
import argparse
import json
import time
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
def load_dataset(path: str):
rows = []
with open(path, "r", encoding="utf-8") as f:
for line in f:
if line.strip():
rows.append(json.loads(line))
return rows
def evaluate(label: str, model_path: str, rows, max_new_tokens: int):
tokenizer = AutoTokenizer.from_pretrained(model_path, use_fast=True)
model = AutoModelForCausalLM.from_pretrained(
model_path,
device_map="auto",
torch_dtype="auto"
)
model.eval()
# 先预热一次,避免首次加载 CUDA kernel 影响吞吐统计。
warmup = tokenizer("hello", return_tensors="pt").to(model.device)
with torch.inference_mode():
model.generate(**warmup, max_new_tokens=4, do_sample=False)
torch.cuda.reset_peak_memory_stats()
correct = 0
generated_tokens = 0
started = time.perf_counter()
for row in rows:
inputs = tokenizer(row["prompt"], return_tensors="pt").to(model.device)
with torch.inference_mode():
output = model.generate(
**inputs,
max_new_tokens=max_new_tokens,
do_sample=False
)
new_tokens = output[0, inputs["input_ids"].shape[1]:]
text = tokenizer.decode(new_tokens, skip_special_tokens=True).strip()
correct += int(text == row["answer"].strip())
generated_tokens += int(new_tokens.numel())
elapsed = time.perf_counter() - started
peak_gib = torch.cuda.max_memory_allocated() / (1024 ** 3)
return {
"model": label,
"exact_match": correct / len(rows),
"peak_vram_gib": peak_gib,
"output_tokens_per_s": generated_tokens / elapsed
}
def main():
parser = argparse.ArgumentParser()
parser.add_argument("--dataset", required=True)
parser.add_argument("--model", action="append", required=True,
help="格式:标签=模型目录,可重复传入")
parser.add_argument("--max-new-tokens", type=int, default=64)
args = parser.parse_args()
if not torch.cuda.is_available():
raise RuntimeError("需要 CUDA GPU 才能测量峰值显存")
rows = load_dataset(args.dataset)
if not rows:
raise ValueError("评测集不能为空")
for item in args.model:
label, path = item.split("=", 1)
result = evaluate(label, path, rows, args.max_new_tokens)
print(json.dumps(result, ensure_ascii=False))
if __name__ == "__main__":
main()运行时把 <PATH> 替换为本机真实目录:
python compare_quantized.py --dataset <PATH>/eval.jsonl --model 8bit=<PATH>/model-8bit --model 4bit=<PATH>/model-4bit --model gptq=<PATH>/model-gptq --model awq=<PATH>/model-awq预期输出中的数值取决于模型、数据集与 GPU,因此使用动态占位符:
{"model":"8bit","exact_match":<SCORE>,"peak_vram_gib":<VRAM_GIB>,"output_tokens_per_s":<TOKENS_PER_S>}
{"model":"4bit","exact_match":<SCORE>,"peak_vram_gib":<VRAM_GIB>,"output_tokens_per_s":<TOKENS_PER_S>}
{"model":"gptq","exact_match":<SCORE>,"peak_vram_gib":<VRAM_GIB>,"output_tokens_per_s":<TOKENS_PER_S>}
{"model":"awq","exact_match":<SCORE>,"peak_vram_gib":<VRAM_GIB>,"output_tokens_per_s":<TOKENS_PER_S>}<SCORE>、<VRAM_GIB> 和 <TOKENS_PER_S> 的实际值会随硬件、模型和数据变化。比较时应保留完整原始结果,而不是只记“最快”或“最省显存”。
按同一张表做取舍
最终可以把四组结果整理成同一维度的决策表:
| 版本 | 质量 | 峰值显存 | 输出吞吐 | 结论 |
|---|---|---|---|---|
| 8 位 | 实测 | 实测 | 实测 | 质量基线 |
| 4 位 | 实测 | 实测 | 实测 | 通用低显存候选 |
| GPTQ | 实测 | 实测 | 实测 | 关注目标 GPU 与内核支持 |
| AWQ | 实测 | 实测 | 实测 | 关注激活感知校准与运行后端 |
不能只按位宽排序。两个同为 4 位的模型,可能因为量化算法、group size、校准数据、推理内核和加载实现不同,在质量与吞吐上出现明显差异。真正可上线的方案,是在统一保存协议和统一评测条件下满足业务阈值的那个版本。