大模型应用开发 / 系统课时
对比模型与提示词
对比模型与提示词
模型、参数和提示词一起变化时,直觉很难判断哪一版真正更好。本课用固定数据集、统一评分规则和成本口径,把“效果更好”拆成可重复的数字,并避免把数据波动误判成版本提升。
学习目标
- 固定评测数据、生成参数与评分口径,保证不同版本可以公平比较
- 同时记录质量、延迟和调用成本,避免只追求单一分数
- 根据对比结果选择候选版本,并保留可复查的运行记录
先固定不该变化的条件
一次有效对比只允许少量变量变化。评测集、样本顺序、评分器、最大输出长度和重试策略应保持一致;若同时更换数据集和评分规则,就无法判断分数变化来自哪里。
建议给每个候选方案一个明确版本,例如 model-a/prompt-v3/temp-0。同一轮运行至少保存输入、模型名、提示词版本、参数、原始输出、质量分、延迟和 token 用量。这样即使最终只看一张表,也能回到单条样本检查原因。
用统一指标比较候选方案
质量指标必须贴近任务。分类任务可以看准确率或 F1;结构化抽取可以看字段级准确率;问答任务可结合规则评分、人工评分或模型裁判。无论采用哪种方式,都应先定义“什么算对”。
下面的完整示例用一组已保存的候选输出计算准确率、平均延迟和估算成本。实际项目中只需把 runs 换成真实调用结果即可。
from collections import defaultdict
runs = [
{'variant': 'model-a/prompt-v2', 'ok': True, 'latency_ms': 820, 'input_tokens': 120, 'output_tokens': 42},
{'variant': 'model-a/prompt-v2', 'ok': False, 'latency_ms': 910, 'input_tokens': 118, 'output_tokens': 55},
{'variant': 'model-b/prompt-v3', 'ok': True, 'latency_ms': 640, 'input_tokens': 126, 'output_tokens': 39},
{'variant': 'model-b/prompt-v3', 'ok': True, 'latency_ms': 700, 'input_tokens': 124, 'output_tokens': 41},
]
# 示例价格仅用于演示计算方式,真实评测应替换为当前模型价格。
price_per_million = {
'model-a/prompt-v2': (2.0, 8.0),
'model-b/prompt-v3': (3.0, 12.0),
}
stats = defaultdict(lambda: {'n': 0, 'ok': 0, 'latency': 0, 'cost': 0.0})
for row in runs:
item = stats[row['variant']]
item['n'] += 1
item['ok'] += int(row['ok'])
item['latency'] += row['latency_ms']
in_price, out_price = price_per_million[row['variant']]
item['cost'] += (
row['input_tokens'] * in_price
+ row['output_tokens'] * out_price
) / 1_000_000
for variant, item in stats.items():
accuracy = item['ok'] / item['n']
avg_latency = item['latency'] / item['n']
avg_cost = item['cost'] / item['n']
print(f'{variant}: accuracy={accuracy:.2f}, latency={avg_latency:.0f}ms, cost=${avg_cost:.6f}')预期输出
model-a/prompt-v2: accuracy=0.50, latency=865ms, cost=$0.000626
model-b/prompt-v3: accuracy=1.00, latency=670ms, cost=$0.000855这里不能直接得出“model-b 一定更好”。它质量更高、延迟更低,但单次成本更高。真正的选择应由业务门槛决定,例如先要求准确率不低于 0.95,再在通过门槛的方案中比较延迟和成本。
避免被平均分掩盖
总平均分很容易隐藏局部退化。应按任务类型、语言、输入长度、客户等级或风险级别切片查看结果。例如总准确率提升 2%,但长文本样本下降 15%,上线后仍可能造成严重问题。
对生成式任务还要关注方差。同一输入在非零温度下多次运行,结果可能不同。关键版本最好对同一小批样本重复运行数次,观察均值和波动,而不是只比较一次结果。
用门槛而不是感觉做决策
最终建议把决策写成明确规则:先判断核心质量指标是否达标,再检查关键切片是否退化,最后比较延迟与成本。如果候选方案没有显著质量收益,却让成本明显上升,通常不值得替换。
固定数据、固定评分、完整留痕后,模型和提示词选择就从“试几个看起来不错的版本”变成了可重复、可审计的工程决策。