大模型原理与训练 / 系统课时

评估量化后的质量与速度

评估量化后的质量与速度

量化是否值得上线,不能只看显存下降或单次生成变快。可靠的验收要在同一批代表性提示上,同时比较任务正确性、结构化格式、重复生成一致性和端到端性能,最后用明确门槛决定量化模型是上线、继续调参还是回退高精度版本。

学习目标

  • 设计能覆盖真实业务分布的量化验收提示集,并保持高精度与量化模型的测试条件一致。
  • 同时测量任务通过率、格式稳定性、生成一致性、延迟与输出吞吐。
  • 把质量损失和性能收益写成可执行的上线门槛,而不是凭主观样例判断。

先把比较条件锁死

量化前后的模型必须使用相同提示、系统指令、采样参数、最大输出长度和服务端批处理策略,并在同一硬件上完成预热后再计时。否则,温度、上下文长度或并发度变化都可能被误判为量化收益。

提示集不要只放“看起来正常”的短问答。至少覆盖核心任务、长上下文、严格 JSON 或固定格式、容易混淆的边界输入,以及少量必须遵守约束的样例。每个样例最好配一个可自动判断的规则;无法自动判定的开放式任务再进入人工抽检。

指标 主要回答的问题 推荐观察方式
任务通过率 量化后是否答错更多 规则校验、单元测试或人工评分
格式通过率 JSON、标签、枚举是否仍稳定 解析成功率与字段约束
重复一致率 相同条件下是否更容易漂移 同一提示重复运行并比较
延迟 单请求体验是否改善 预热后统计均值与 P95
输出吞吐 单位时间能生成多少 token 总输出 token ÷ 总耗时

用代表性提示集同时测质量和速度

下面的脚本直接调用两个 OpenAI 兼容接口。它把高精度模型作为基线,对每个提示运行两次,统计自动验收通过率、两次输出完全一致的比例、平均端到端延迟和输出 token 吞吐。实际使用时应把 CASES 换成业务中的真实样例,并让 check 对应真实验收规则。

python
import json
import os
import time
import urllib.request

def check_json(text):
    try:
        return json.loads(text) == {'ok': True, 'count': 2}
    except json.JSONDecodeError:
        return False

CASES = [
    {
        'prompt': '只回答大写字母 A,不要添加其他字符。',
        'check': lambda s: s.strip() == 'A',
    },
    {
        'prompt': '只输出 JSON:字段 ok 为 true,字段 count 为 2。',
        'check': check_json,
    },
    {
        'prompt': '只输出字符串 dcba。不要解释。',
        'check': lambda s: s.strip() == 'dcba',
    },
]

def chat(base_url, model, prompt):
    payload = {
        'model': model,
        'messages': [{'role': 'user', 'content': prompt}],
        'temperature': 0,
        'max_tokens': 128,
    }
    req = urllib.request.Request(
        base_url.rstrip('/') + '/v1/chat/completions',
        data=json.dumps(payload).encode('utf-8'),
        headers={'Content-Type': 'application/json'},
        method='POST',
    )
    start = time.perf_counter()
    with urllib.request.urlopen(req, timeout=120) as resp:
        data = json.load(resp)
    latency = time.perf_counter() - start
    text = data['choices'][0]['message']['content']
    output_tokens = data.get('usage', {}).get('completion_tokens', 0)
    return text, latency, output_tokens

def evaluate(name, base_url, model):
    passed = 0
    repeated = 0
    total_latency = 0.0
    total_tokens = 0
    requests = 0

    for case in CASES:
        first, latency1, tokens1 = chat(base_url, model, case['prompt'])
        second, latency2, tokens2 = chat(base_url, model, case['prompt'])
        passed += int(case['check'](first)) + int(case['check'](second))
        repeated += int(first == second)
        total_latency += latency1 + latency2
        total_tokens += tokens1 + tokens2
        requests += 2

    print(
        f'{name} requests={requests} '
        f'pass_rate={passed / requests:.1%} '
        f'repeat_match={repeated / len(CASES):.1%} '
        f'avg_latency_s={total_latency / requests:.3f} '
        f'output_tokens_per_s={total_tokens / total_latency:.1f}'
    )

evaluate('baseline', os.environ['BASE_URL'], os.environ['BASE_MODEL'])
evaluate('quant', os.environ['QUANT_URL'], os.environ['QUANT_MODEL'])

预期输出(数值由模型、硬件和服务负载决定,下面只表示输出形态):

text
baseline requests=6 pass_rate=<PERCENT> repeat_match=<PERCENT> avg_latency_s=<TIME> output_tokens_per_s=<RATE>
quant requests=6 pass_rate=<PERCENT> repeat_match=<PERCENT> avg_latency_s=<TIME> output_tokens_per_s=<RATE>

如果服务端没有返回 completion_tokens,吞吐字段会是 0;这时应改用服务端自身的 token 统计或流式计数,而不是用字符数代替 token 数。

把格式稳定性和一致性单独验收

平均质量分数容易掩盖“少数请求完全不可用”的退化。对会被程序继续消费的 JSON、SQL、函数调用参数或固定标签,格式通过率通常应当作为硬门槛;即使总体正确率几乎不变,只要结构化输出开始偶发解析失败,也可能不适合直接上线。

一致性也要和采样策略区分开。若目标是比较量化误差,优先固定 temperature=0、相同随机设置和相同解码参数,再重复运行;如果生产环境本来就需要随机采样,则另开一组测试,观察分布是否明显改变,而不是把随机性混进量化结论。

设定上线门槛

门槛应在测试前写好,避免看到结果后再移动标准。下面是一组可作为起点的示例,最终数值要按业务风险和成本目标调整。

维度 示例门槛
核心任务通过率 相对高精度基线下降不超过 1 个百分点
严格格式任务 解析通过率保持 100%
重复一致率 不比基线下降超过 2 个百分点
P95 延迟 不劣于基线,且满足线上 SLO
输出吞吐 至少提升 20%,否则重新检查量化内核与批处理设置
显存或硬件成本 必须达到项目预设节省目标

只有“质量损失在容忍范围内”和“性能或成本确实改善”同时成立,量化才算通过验收。若显存明显下降但吞吐没有提升,应优先检查硬件是否支持对应量化内核;若速度提升但关键格式任务退化,则应回退精度或采用混合精度方案,而不是用平均分掩盖生产风险。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

评估量化后的质量与速度

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通