大模型原理与训练 / 系统课时

测出原模型质量与资源基线

测出原模型质量与资源基线

后续每次蒸馏或量化都需要和同一个原模型基线比较。这节课会固定评测集与生成参数,并用一份可重复脚本记录任务质量、模型体积、峰值显存、首 Token 延迟和生成吞吐,避免“优化前后条件不同”造成假提升。

学习目标

  • 固定评测数据、解码参数和硬件条件,建立可重复的原模型基线。
  • 正确记录模型体积、峰值显存、TTFT 与生成吞吐。
  • 用同一套记录格式判断后续压缩是否真的带来收益。

先固定不可变的实验条件

基线最重要的不是跑出一个漂亮数字,而是让下一次实验能复现。评测前应固定模型版本、Tokenizer、评测集、Prompt 模板、最大生成长度、解码策略、数据类型、设备、批大小和随机种子。若是确定性基线,优先关闭采样,避免温度与随机性把质量差异放大成噪声。

指标 建议口径
任务质量 使用业务已有的准确率、F1、ROUGE、困惑度或人工规则;不要临时换指标
模型体积 记录模型目录实际字节数,并补充参数张量体积
峰值显存 同一进程、同一批大小下记录推理期间峰值
首 Token 延迟 TTFT 从提交 Prompt 到得到第一个生成 Token 的时间
生成吞吐 新生成 Token 数除以生成总耗时,单位 tokens/s

TTFT 与吞吐都受输入长度影响,因此评测集最好按真实请求长度分布抽样;如果线上长短请求差异很大,应分桶记录,而不是只报一个全局平均值。

运行一份可重复的基线脚本

下面示例使用本地 Hugging Face 因果语言模型目录和 JSONL 评测集。每行数据包含 prompt 与 reference 两个字段;示例质量指标采用严格 Exact Match,实际项目应替换为业务正式指标。将两个 <PATH> 替换为真实路径后运行。

python
import json
import os
import statistics
import time

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

MODEL_PATH = '<PATH>/model'
EVAL_PATH = '<PATH>/eval.jsonl'
MAX_NEW_TOKENS = 64

device = 'cuda' if torch.cuda.is_available() else 'cpu'
dtype = torch.float16 if device == 'cuda' else torch.float32


def sync_device():
    if device == 'cuda':
        torch.cuda.synchronize()


def directory_size_gib(path):
    total = 0
    for root, _, files in os.walk(path):
        for name in files:
            total += os.path.getsize(os.path.join(root, name))
    return total / (1024 ** 3)


def parameter_size_gib(model):
    total = sum(p.numel() * p.element_size() for p in model.parameters())
    return total / (1024 ** 3)


def load_eval(path):
    with open(path, 'r', encoding='utf-8') as f:
        return [json.loads(line) for line in f if line.strip()]


@torch.inference_mode()
def measure_one(model, tokenizer, prompt):
    inputs = tokenizer(prompt, return_tensors='pt')
    inputs = {k: v.to(device) for k, v in inputs.items()}
    prompt_len = inputs['input_ids'].shape[1]

    # 单 Token 生成近似测量 TTFT,包含 Prompt prefill 和框架开销。
    sync_device()
    start = time.perf_counter()
    model.generate(
        **inputs,
        max_new_tokens=1,
        do_sample=False,
        use_cache=True,
        pad_token_id=tokenizer.eos_token_id,
    )
    sync_device()
    ttft_ms = (time.perf_counter() - start) * 1000

    if device == 'cuda':
        torch.cuda.reset_peak_memory_stats()

    sync_device()
    start = time.perf_counter()
    output = model.generate(
        **inputs,
        max_new_tokens=MAX_NEW_TOKENS,
        do_sample=False,
        use_cache=True,
        pad_token_id=tokenizer.eos_token_id,
    )
    sync_device()
    elapsed = time.perf_counter() - start

    generated = output[0, prompt_len:]
    text = tokenizer.decode(generated, skip_special_tokens=True).strip()
    peak_gib = (
        torch.cuda.max_memory_reserved() / (1024 ** 3)
        if device == 'cuda'
        else 0.0
    )
    return text, generated.numel(), elapsed, ttft_ms, peak_gib


tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH)
model = AutoModelForCausalLM.from_pretrained(
    MODEL_PATH, torch_dtype=dtype
).to(device).eval()
rows = load_eval(EVAL_PATH)
if not rows:
    raise ValueError('评测集不能为空')

# 先预热,避免首次内核初始化污染正式统计。
measure_one(model, tokenizer, rows[0]['prompt'])

matches = []
ttfts = []
peaks = []
total_tokens = 0
total_seconds = 0.0

for row in rows:
    text, tokens, elapsed, ttft_ms, peak_gib = measure_one(
        model, tokenizer, row['prompt']
    )
    matches.append(text == row['reference'].strip())
    ttfts.append(ttft_ms)
    peaks.append(peak_gib)
    total_tokens += tokens
    total_seconds += elapsed

print(f'model_disk_gib={directory_size_gib(MODEL_PATH):.3f}')
print(f'parameter_gib={parameter_size_gib(model):.3f}')
print(f'samples={len(rows)}')
print(f'exact_match={sum(matches) / len(matches):.4f}')
if device == 'cuda':
    print(f'peak_gpu_gib={max(peaks):.3f}')
else:
    print('peak_gpu_gib=N/A')
print(f'median_ttft_ms={statistics.median(ttfts):.1f}')
print(f'tokens_per_second={total_tokens / total_seconds:.2f}')

预期输出

text
model_disk_gib=<SIZE>
parameter_gib=<SIZE>
samples=<ID>
exact_match=<METRIC>
peak_gpu_gib=<SIZE>
median_ttft_ms=<TIME>
tokens_per_second=<FREQ>

<SIZE>、<METRIC>、<TIME> 和 <FREQ> 会随模型、数据与硬件变化。CPU 环境下峰值显存一项会输出 N/A。脚本中的 TTFT 是单 Token generate 的近似端到端测量;如果最终使用 vLLM、TensorRT-LLM 或远程推理服务,应在真实服务链路上重新测量网络、排队和调度后的 TTFT。

让数据具备可比较性

同一套实验至少重复运行数次,并优先比较中位数或分位数,而不是只看一次结果。GPU 测试前应完成预热,避免首次 CUDA 内核初始化、权重分页或缓存建立抬高首轮延迟。若改了批大小、输入长度、最大生成长度或数据类型,就应视为新的基线条件。

用基线约束后续压缩实验

后续蒸馏、PTQ 或 QAT 的结果必须回到同一张基线表比较。若模型体积下降但 TTFT 变差,需要检查量化内核、数据类型转换和调度开销;若吞吐上升但质量跌破业务阈值,也不能视为成功。

最小验收方式是同时保留一条质量线和一条资源线:质量不得低于允许阈值,峰值显存、TTFT 或吞吐至少有一个达到上线目标。这样后续每次压缩都能明确回答“省了多少资源、付出了多少质量代价”,而不是只比较文件大小。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

测出原模型质量与资源基线

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通