大模型应用开发 / 系统课时

对比模型与提示词

对比模型与提示词

模型、参数和提示词一起变化时,直觉很难判断哪一版真正更好。本课用固定数据集、统一评分规则和成本口径,把“效果更好”拆成可重复的数字,并避免把数据波动误判成版本提升。

学习目标

  • 固定评测数据、生成参数与评分口径,保证不同版本可以公平比较
  • 同时记录质量、延迟和调用成本,避免只追求单一分数
  • 根据对比结果选择候选版本,并保留可复查的运行记录

先固定不该变化的条件

一次有效对比只允许少量变量变化。评测集、样本顺序、评分器、最大输出长度和重试策略应保持一致;若同时更换数据集和评分规则,就无法判断分数变化来自哪里。

建议给每个候选方案一个明确版本,例如 model-a/prompt-v3/temp-0。同一轮运行至少保存输入、模型名、提示词版本、参数、原始输出、质量分、延迟和 token 用量。这样即使最终只看一张表,也能回到单条样本检查原因。

用统一指标比较候选方案

质量指标必须贴近任务。分类任务可以看准确率或 F1;结构化抽取可以看字段级准确率;问答任务可结合规则评分、人工评分或模型裁判。无论采用哪种方式,都应先定义“什么算对”。

下面的完整示例用一组已保存的候选输出计算准确率、平均延迟和估算成本。实际项目中只需把 runs 换成真实调用结果即可。

python
from collections import defaultdict

runs = [
    {'variant': 'model-a/prompt-v2', 'ok': True,  'latency_ms': 820,  'input_tokens': 120, 'output_tokens': 42},
    {'variant': 'model-a/prompt-v2', 'ok': False, 'latency_ms': 910,  'input_tokens': 118, 'output_tokens': 55},
    {'variant': 'model-b/prompt-v3', 'ok': True,  'latency_ms': 640,  'input_tokens': 126, 'output_tokens': 39},
    {'variant': 'model-b/prompt-v3', 'ok': True,  'latency_ms': 700,  'input_tokens': 124, 'output_tokens': 41},
]

# 示例价格仅用于演示计算方式,真实评测应替换为当前模型价格。
price_per_million = {
    'model-a/prompt-v2': (2.0, 8.0),
    'model-b/prompt-v3': (3.0, 12.0),
}

stats = defaultdict(lambda: {'n': 0, 'ok': 0, 'latency': 0, 'cost': 0.0})

for row in runs:
    item = stats[row['variant']]
    item['n'] += 1
    item['ok'] += int(row['ok'])
    item['latency'] += row['latency_ms']
    in_price, out_price = price_per_million[row['variant']]
    item['cost'] += (
        row['input_tokens'] * in_price
        + row['output_tokens'] * out_price
    ) / 1_000_000

for variant, item in stats.items():
    accuracy = item['ok'] / item['n']
    avg_latency = item['latency'] / item['n']
    avg_cost = item['cost'] / item['n']
    print(f'{variant}: accuracy={accuracy:.2f}, latency={avg_latency:.0f}ms, cost=${avg_cost:.6f}')

预期输出

text
model-a/prompt-v2: accuracy=0.50, latency=865ms, cost=$0.000626
model-b/prompt-v3: accuracy=1.00, latency=670ms, cost=$0.000855

这里不能直接得出“model-b 一定更好”。它质量更高、延迟更低,但单次成本更高。真正的选择应由业务门槛决定,例如先要求准确率不低于 0.95,再在通过门槛的方案中比较延迟和成本。

避免被平均分掩盖

总平均分很容易隐藏局部退化。应按任务类型、语言、输入长度、客户等级或风险级别切片查看结果。例如总准确率提升 2%,但长文本样本下降 15%,上线后仍可能造成严重问题。

对生成式任务还要关注方差。同一输入在非零温度下多次运行,结果可能不同。关键版本最好对同一小批样本重复运行数次,观察均值和波动,而不是只比较一次结果。

用门槛而不是感觉做决策

最终建议把决策写成明确规则:先判断核心质量指标是否达标,再检查关键切片是否退化,最后比较延迟与成本。如果候选方案没有显著质量收益,却让成本明显上升,通常不值得替换。

固定数据、固定评分、完整留痕后,模型和提示词选择就从“试几个看起来不错的版本”变成了可重复、可审计的工程决策。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

对比模型与提示词

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通