大模型原理与训练 / 系统课时
测出原模型质量与资源基线
测出原模型质量与资源基线
后续每次蒸馏或量化都需要和同一个原模型基线比较。这节课会固定评测集与生成参数,并用一份可重复脚本记录任务质量、模型体积、峰值显存、首 Token 延迟和生成吞吐,避免“优化前后条件不同”造成假提升。
学习目标
- 固定评测数据、解码参数和硬件条件,建立可重复的原模型基线。
- 正确记录模型体积、峰值显存、TTFT 与生成吞吐。
- 用同一套记录格式判断后续压缩是否真的带来收益。
先固定不可变的实验条件
基线最重要的不是跑出一个漂亮数字,而是让下一次实验能复现。评测前应固定模型版本、Tokenizer、评测集、Prompt 模板、最大生成长度、解码策略、数据类型、设备、批大小和随机种子。若是确定性基线,优先关闭采样,避免温度与随机性把质量差异放大成噪声。
| 指标 | 建议口径 |
|---|---|
| 任务质量 | 使用业务已有的准确率、F1、ROUGE、困惑度或人工规则;不要临时换指标 |
| 模型体积 | 记录模型目录实际字节数,并补充参数张量体积 |
| 峰值显存 | 同一进程、同一批大小下记录推理期间峰值 |
| 首 Token 延迟 TTFT | 从提交 Prompt 到得到第一个生成 Token 的时间 |
| 生成吞吐 | 新生成 Token 数除以生成总耗时,单位 tokens/s |
TTFT 与吞吐都受输入长度影响,因此评测集最好按真实请求长度分布抽样;如果线上长短请求差异很大,应分桶记录,而不是只报一个全局平均值。
运行一份可重复的基线脚本
下面示例使用本地 Hugging Face 因果语言模型目录和 JSONL 评测集。每行数据包含 prompt 与 reference 两个字段;示例质量指标采用严格 Exact Match,实际项目应替换为业务正式指标。将两个 <PATH> 替换为真实路径后运行。
import json
import os
import statistics
import time
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
MODEL_PATH = '<PATH>/model'
EVAL_PATH = '<PATH>/eval.jsonl'
MAX_NEW_TOKENS = 64
device = 'cuda' if torch.cuda.is_available() else 'cpu'
dtype = torch.float16 if device == 'cuda' else torch.float32
def sync_device():
if device == 'cuda':
torch.cuda.synchronize()
def directory_size_gib(path):
total = 0
for root, _, files in os.walk(path):
for name in files:
total += os.path.getsize(os.path.join(root, name))
return total / (1024 ** 3)
def parameter_size_gib(model):
total = sum(p.numel() * p.element_size() for p in model.parameters())
return total / (1024 ** 3)
def load_eval(path):
with open(path, 'r', encoding='utf-8') as f:
return [json.loads(line) for line in f if line.strip()]
@torch.inference_mode()
def measure_one(model, tokenizer, prompt):
inputs = tokenizer(prompt, return_tensors='pt')
inputs = {k: v.to(device) for k, v in inputs.items()}
prompt_len = inputs['input_ids'].shape[1]
# 单 Token 生成近似测量 TTFT,包含 Prompt prefill 和框架开销。
sync_device()
start = time.perf_counter()
model.generate(
**inputs,
max_new_tokens=1,
do_sample=False,
use_cache=True,
pad_token_id=tokenizer.eos_token_id,
)
sync_device()
ttft_ms = (time.perf_counter() - start) * 1000
if device == 'cuda':
torch.cuda.reset_peak_memory_stats()
sync_device()
start = time.perf_counter()
output = model.generate(
**inputs,
max_new_tokens=MAX_NEW_TOKENS,
do_sample=False,
use_cache=True,
pad_token_id=tokenizer.eos_token_id,
)
sync_device()
elapsed = time.perf_counter() - start
generated = output[0, prompt_len:]
text = tokenizer.decode(generated, skip_special_tokens=True).strip()
peak_gib = (
torch.cuda.max_memory_reserved() / (1024 ** 3)
if device == 'cuda'
else 0.0
)
return text, generated.numel(), elapsed, ttft_ms, peak_gib
tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH)
model = AutoModelForCausalLM.from_pretrained(
MODEL_PATH, torch_dtype=dtype
).to(device).eval()
rows = load_eval(EVAL_PATH)
if not rows:
raise ValueError('评测集不能为空')
# 先预热,避免首次内核初始化污染正式统计。
measure_one(model, tokenizer, rows[0]['prompt'])
matches = []
ttfts = []
peaks = []
total_tokens = 0
total_seconds = 0.0
for row in rows:
text, tokens, elapsed, ttft_ms, peak_gib = measure_one(
model, tokenizer, row['prompt']
)
matches.append(text == row['reference'].strip())
ttfts.append(ttft_ms)
peaks.append(peak_gib)
total_tokens += tokens
total_seconds += elapsed
print(f'model_disk_gib={directory_size_gib(MODEL_PATH):.3f}')
print(f'parameter_gib={parameter_size_gib(model):.3f}')
print(f'samples={len(rows)}')
print(f'exact_match={sum(matches) / len(matches):.4f}')
if device == 'cuda':
print(f'peak_gpu_gib={max(peaks):.3f}')
else:
print('peak_gpu_gib=N/A')
print(f'median_ttft_ms={statistics.median(ttfts):.1f}')
print(f'tokens_per_second={total_tokens / total_seconds:.2f}')预期输出
model_disk_gib=<SIZE>
parameter_gib=<SIZE>
samples=<ID>
exact_match=<METRIC>
peak_gpu_gib=<SIZE>
median_ttft_ms=<TIME>
tokens_per_second=<FREQ><SIZE>、<METRIC>、<TIME> 和 <FREQ> 会随模型、数据与硬件变化。CPU 环境下峰值显存一项会输出 N/A。脚本中的 TTFT 是单 Token generate 的近似端到端测量;如果最终使用 vLLM、TensorRT-LLM 或远程推理服务,应在真实服务链路上重新测量网络、排队和调度后的 TTFT。
让数据具备可比较性
同一套实验至少重复运行数次,并优先比较中位数或分位数,而不是只看一次结果。GPU 测试前应完成预热,避免首次 CUDA 内核初始化、权重分页或缓存建立抬高首轮延迟。若改了批大小、输入长度、最大生成长度或数据类型,就应视为新的基线条件。
用基线约束后续压缩实验
后续蒸馏、PTQ 或 QAT 的结果必须回到同一张基线表比较。若模型体积下降但 TTFT 变差,需要检查量化内核、数据类型转换和调度开销;若吞吐上升但质量跌破业务阈值,也不能视为成功。
最小验收方式是同时保留一条质量线和一条资源线:质量不得低于允许阈值,峰值显存、TTFT 或吞吐至少有一个达到上线目标。这样后续每次压缩都能明确回答“省了多少资源、付出了多少质量代价”,而不是只比较文件大小。