大模型原理与训练 / 系统课时
确定训练目标与验收指标
确定训练目标与验收指标
微调前先把“效果更好”改写成可重复测量的验收条件。本节会建立任务效果、输出格式、人工偏好和资源成本四类指标,并用固定评测集与统一阈值把它们组成实验基线,避免只凭几个案例判断模型是否值得上线。
学习目标
- 把模糊的微调诉求改写成可计算、可复现的验收指标
- 为效果、格式、人工偏好和资源消耗分别设置基线与门槛
- 用同一套评测条件比较基座模型、LoRA、QLoRA 或全参数训练结果
从业务目标写到可测指标
训练目标必须同时说明“要改善什么”和“改善到什么程度”。例如“客服分类更准”还不能指导实验,因为它没有评测集、指标定义和通过线。更可执行的表述是:在冻结的 500 条客服测试集上,标签准确率不低于 92%,结构化输出通过率不低于 99%,并且推理资源不超过既定预算。
常用指标可以分成四层:
| 维度 | 典型指标 | 解决的问题 |
|---|---|---|
| 领域任务 | Accuracy、F1、ROUGE、Pass@k、任务成功率 | 模型是否真的完成目标任务 |
| 输出约束 | JSON 解析通过率、字段完整率、格式合规率 | 下游程序能否稳定消费结果 |
| 人工偏好 | 胜率、平均评分、严重错误率 | 自动指标难以覆盖的质量是否改善 |
| 资源约束 | P95 延迟、吞吐、峰值显存、训练时长 | 改善是否在可接受成本内 |
不同任务不必把所有指标都塞进一个总分。更稳妥的做法是把关键约束设成“门槛”:任何一项未达标就不能判定通过,防止模型用更高延迟或更大显存换取一点点质量提升。
冻结可比较的验收基线
真正可比较的实验不仅要固定测试数据,还要固定会影响结果的条件:基座模型版本、提示词模板、生成参数、随机种子、最大输入长度、解码策略和运行硬件。训练方法可以变化,但评测协议不能跟着每轮实验一起变化。
建议在第一次训练前记录三组数值:基座模型当前成绩、期望通过线、资源上限。例如基座准确率为 0.70,目标线设为 0.75;格式通过率要求 1.00;人工偏好胜率要求至少 0.60;P95 延迟和峰值显存分别不得超过 900 ms 与 16 GB。之后所有候选模型都使用同一套门槛。
用小脚本固化验收规则
下面的示例把四类指标写成一个最小验收程序。实际项目可以把样本替换为冻结的测试集,把延迟和显存替换为基准测试采集值。
import json
references = ["退款", "物流", "退款", "售后"]
predictions = [
'{"label":"退款"}',
'{"label":"物流"}',
'{"label":"退款"}',
'{"label":"其他"}',
]
preference_votes = [1, 1, 0, 1]
parsed = []
format_ok = 0
for text in predictions:
try:
obj = json.loads(text)
parsed.append(obj["label"])
format_ok += int(set(obj) == {"label"})
except (json.JSONDecodeError, KeyError, TypeError):
parsed.append(None)
exact_match = sum(p == r for p, r in zip(parsed, references)) / len(references)
format_pass_rate = format_ok / len(predictions)
preference_win_rate = sum(preference_votes) / len(preference_votes)
p95_latency_ms = 780
peak_vram_gb = 15.2
checks = {
"exact_match": exact_match >= 0.75,
"format_pass_rate": format_pass_rate >= 1.00,
"preference_win_rate": preference_win_rate >= 0.60,
"p95_latency_ms": p95_latency_ms <= 900,
"peak_vram_gb": peak_vram_gb <= 16,
}
print(f"exact_match={exact_match:.2f}")
print(f"format_pass_rate={format_pass_rate:.2f}")
print(f"preference_win_rate={preference_win_rate:.2f}")
print(f"p95_latency_ms={p95_latency_ms}")
print(f"peak_vram_gb={peak_vram_gb}")
print("decision=" + ("PASS" if all(checks.values()) else "FAIL"))预期输出
exact_match=0.75
format_pass_rate=1.00
preference_win_rate=0.75
p95_latency_ms=780
peak_vram_gb=15.2
decision=PASS这里的关键不是这几个具体阈值,而是同一套规则必须同时作用于所有候选方案。如果 LoRA 的任务分数更高但格式通过率下降,或全参数训练只提升少量准确率却超出显存与延迟预算,都应该被清楚地判定为不满足当前目标。
组织最终验收表
每轮实验至少保留模型标识、训练方案、评测集版本、各项指标和最终结论。自动指标负责快速回归,人工评审负责覆盖事实性、风格、拒答边界等难以完全自动化的维度;人工样本也应固定抽样规则和评分标准。
最终决策应回答三个问题:核心任务是否超过基线、硬性约束是否全部达标、提升幅度是否值得新增训练和部署成本。做到这一点,后续选择 LoRA、QLoRA 或全参数训练时,比较的就不再是“感觉哪个更好”,而是哪个方案在同一验收基线下最符合目标。