大模型原理与训练 / 系统课时
评估量化后的质量与速度
评估量化后的质量与速度
量化是否值得上线,不能只看显存下降或单次生成变快。可靠的验收要在同一批代表性提示上,同时比较任务正确性、结构化格式、重复生成一致性和端到端性能,最后用明确门槛决定量化模型是上线、继续调参还是回退高精度版本。
学习目标
- 设计能覆盖真实业务分布的量化验收提示集,并保持高精度与量化模型的测试条件一致。
- 同时测量任务通过率、格式稳定性、生成一致性、延迟与输出吞吐。
- 把质量损失和性能收益写成可执行的上线门槛,而不是凭主观样例判断。
先把比较条件锁死
量化前后的模型必须使用相同提示、系统指令、采样参数、最大输出长度和服务端批处理策略,并在同一硬件上完成预热后再计时。否则,温度、上下文长度或并发度变化都可能被误判为量化收益。
提示集不要只放“看起来正常”的短问答。至少覆盖核心任务、长上下文、严格 JSON 或固定格式、容易混淆的边界输入,以及少量必须遵守约束的样例。每个样例最好配一个可自动判断的规则;无法自动判定的开放式任务再进入人工抽检。
| 指标 | 主要回答的问题 | 推荐观察方式 |
|---|---|---|
| 任务通过率 | 量化后是否答错更多 | 规则校验、单元测试或人工评分 |
| 格式通过率 | JSON、标签、枚举是否仍稳定 | 解析成功率与字段约束 |
| 重复一致率 | 相同条件下是否更容易漂移 | 同一提示重复运行并比较 |
| 延迟 | 单请求体验是否改善 | 预热后统计均值与 P95 |
| 输出吞吐 | 单位时间能生成多少 token | 总输出 token ÷ 总耗时 |
用代表性提示集同时测质量和速度
下面的脚本直接调用两个 OpenAI 兼容接口。它把高精度模型作为基线,对每个提示运行两次,统计自动验收通过率、两次输出完全一致的比例、平均端到端延迟和输出 token 吞吐。实际使用时应把 CASES 换成业务中的真实样例,并让 check 对应真实验收规则。
import json
import os
import time
import urllib.request
def check_json(text):
try:
return json.loads(text) == {'ok': True, 'count': 2}
except json.JSONDecodeError:
return False
CASES = [
{
'prompt': '只回答大写字母 A,不要添加其他字符。',
'check': lambda s: s.strip() == 'A',
},
{
'prompt': '只输出 JSON:字段 ok 为 true,字段 count 为 2。',
'check': check_json,
},
{
'prompt': '只输出字符串 dcba。不要解释。',
'check': lambda s: s.strip() == 'dcba',
},
]
def chat(base_url, model, prompt):
payload = {
'model': model,
'messages': [{'role': 'user', 'content': prompt}],
'temperature': 0,
'max_tokens': 128,
}
req = urllib.request.Request(
base_url.rstrip('/') + '/v1/chat/completions',
data=json.dumps(payload).encode('utf-8'),
headers={'Content-Type': 'application/json'},
method='POST',
)
start = time.perf_counter()
with urllib.request.urlopen(req, timeout=120) as resp:
data = json.load(resp)
latency = time.perf_counter() - start
text = data['choices'][0]['message']['content']
output_tokens = data.get('usage', {}).get('completion_tokens', 0)
return text, latency, output_tokens
def evaluate(name, base_url, model):
passed = 0
repeated = 0
total_latency = 0.0
total_tokens = 0
requests = 0
for case in CASES:
first, latency1, tokens1 = chat(base_url, model, case['prompt'])
second, latency2, tokens2 = chat(base_url, model, case['prompt'])
passed += int(case['check'](first)) + int(case['check'](second))
repeated += int(first == second)
total_latency += latency1 + latency2
total_tokens += tokens1 + tokens2
requests += 2
print(
f'{name} requests={requests} '
f'pass_rate={passed / requests:.1%} '
f'repeat_match={repeated / len(CASES):.1%} '
f'avg_latency_s={total_latency / requests:.3f} '
f'output_tokens_per_s={total_tokens / total_latency:.1f}'
)
evaluate('baseline', os.environ['BASE_URL'], os.environ['BASE_MODEL'])
evaluate('quant', os.environ['QUANT_URL'], os.environ['QUANT_MODEL'])预期输出(数值由模型、硬件和服务负载决定,下面只表示输出形态):
baseline requests=6 pass_rate=<PERCENT> repeat_match=<PERCENT> avg_latency_s=<TIME> output_tokens_per_s=<RATE>
quant requests=6 pass_rate=<PERCENT> repeat_match=<PERCENT> avg_latency_s=<TIME> output_tokens_per_s=<RATE>如果服务端没有返回 completion_tokens,吞吐字段会是 0;这时应改用服务端自身的 token 统计或流式计数,而不是用字符数代替 token 数。
把格式稳定性和一致性单独验收
平均质量分数容易掩盖“少数请求完全不可用”的退化。对会被程序继续消费的 JSON、SQL、函数调用参数或固定标签,格式通过率通常应当作为硬门槛;即使总体正确率几乎不变,只要结构化输出开始偶发解析失败,也可能不适合直接上线。
一致性也要和采样策略区分开。若目标是比较量化误差,优先固定 temperature=0、相同随机设置和相同解码参数,再重复运行;如果生产环境本来就需要随机采样,则另开一组测试,观察分布是否明显改变,而不是把随机性混进量化结论。
设定上线门槛
门槛应在测试前写好,避免看到结果后再移动标准。下面是一组可作为起点的示例,最终数值要按业务风险和成本目标调整。
| 维度 | 示例门槛 |
|---|---|
| 核心任务通过率 | 相对高精度基线下降不超过 1 个百分点 |
| 严格格式任务 | 解析通过率保持 100% |
| 重复一致率 | 不比基线下降超过 2 个百分点 |
| P95 延迟 | 不劣于基线,且满足线上 SLO |
| 输出吞吐 | 至少提升 20%,否则重新检查量化内核与批处理设置 |
| 显存或硬件成本 | 必须达到项目预设节省目标 |
只有“质量损失在容忍范围内”和“性能或成本确实改善”同时成立,量化才算通过验收。若显存明显下降但吞吐没有提升,应优先检查硬件是否支持对应量化内核;若速度提升但关键格式任务退化,则应回退精度或采用混合精度方案,而不是用平均分掩盖生产风险。