大模型原理与训练 / 系统课时

确定训练目标与验收指标

确定训练目标与验收指标

微调前先把“效果更好”改写成可重复测量的验收条件。本节会建立任务效果、输出格式、人工偏好和资源成本四类指标,并用固定评测集与统一阈值把它们组成实验基线,避免只凭几个案例判断模型是否值得上线。

学习目标

  • 把模糊的微调诉求改写成可计算、可复现的验收指标
  • 为效果、格式、人工偏好和资源消耗分别设置基线与门槛
  • 用同一套评测条件比较基座模型、LoRA、QLoRA 或全参数训练结果

从业务目标写到可测指标

训练目标必须同时说明“要改善什么”和“改善到什么程度”。例如“客服分类更准”还不能指导实验,因为它没有评测集、指标定义和通过线。更可执行的表述是:在冻结的 500 条客服测试集上,标签准确率不低于 92%,结构化输出通过率不低于 99%,并且推理资源不超过既定预算。

常用指标可以分成四层:

维度 典型指标 解决的问题
领域任务 Accuracy、F1、ROUGE、Pass@k、任务成功率 模型是否真的完成目标任务
输出约束 JSON 解析通过率、字段完整率、格式合规率 下游程序能否稳定消费结果
人工偏好 胜率、平均评分、严重错误率 自动指标难以覆盖的质量是否改善
资源约束 P95 延迟、吞吐、峰值显存、训练时长 改善是否在可接受成本内

不同任务不必把所有指标都塞进一个总分。更稳妥的做法是把关键约束设成“门槛”:任何一项未达标就不能判定通过,防止模型用更高延迟或更大显存换取一点点质量提升。

冻结可比较的验收基线

真正可比较的实验不仅要固定测试数据,还要固定会影响结果的条件:基座模型版本、提示词模板、生成参数、随机种子、最大输入长度、解码策略和运行硬件。训练方法可以变化,但评测协议不能跟着每轮实验一起变化。

建议在第一次训练前记录三组数值:基座模型当前成绩、期望通过线、资源上限。例如基座准确率为 0.70,目标线设为 0.75;格式通过率要求 1.00;人工偏好胜率要求至少 0.60;P95 延迟和峰值显存分别不得超过 900 ms 与 16 GB。之后所有候选模型都使用同一套门槛。

用小脚本固化验收规则

下面的示例把四类指标写成一个最小验收程序。实际项目可以把样本替换为冻结的测试集,把延迟和显存替换为基准测试采集值。

python
import json

references = ["退款", "物流", "退款", "售后"]
predictions = [
    '{"label":"退款"}',
    '{"label":"物流"}',
    '{"label":"退款"}',
    '{"label":"其他"}',
]
preference_votes = [1, 1, 0, 1]

parsed = []
format_ok = 0
for text in predictions:
    try:
        obj = json.loads(text)
        parsed.append(obj["label"])
        format_ok += int(set(obj) == {"label"})
    except (json.JSONDecodeError, KeyError, TypeError):
        parsed.append(None)

exact_match = sum(p == r for p, r in zip(parsed, references)) / len(references)
format_pass_rate = format_ok / len(predictions)
preference_win_rate = sum(preference_votes) / len(preference_votes)

p95_latency_ms = 780
peak_vram_gb = 15.2

checks = {
    "exact_match": exact_match >= 0.75,
    "format_pass_rate": format_pass_rate >= 1.00,
    "preference_win_rate": preference_win_rate >= 0.60,
    "p95_latency_ms": p95_latency_ms <= 900,
    "peak_vram_gb": peak_vram_gb <= 16,
}

print(f"exact_match={exact_match:.2f}")
print(f"format_pass_rate={format_pass_rate:.2f}")
print(f"preference_win_rate={preference_win_rate:.2f}")
print(f"p95_latency_ms={p95_latency_ms}")
print(f"peak_vram_gb={peak_vram_gb}")
print("decision=" + ("PASS" if all(checks.values()) else "FAIL"))

预期输出

text
exact_match=0.75
format_pass_rate=1.00
preference_win_rate=0.75
p95_latency_ms=780
peak_vram_gb=15.2
decision=PASS

这里的关键不是这几个具体阈值,而是同一套规则必须同时作用于所有候选方案。如果 LoRA 的任务分数更高但格式通过率下降,或全参数训练只提升少量准确率却超出显存与延迟预算,都应该被清楚地判定为不满足当前目标。

组织最终验收表

每轮实验至少保留模型标识、训练方案、评测集版本、各项指标和最终结论。自动指标负责快速回归,人工评审负责覆盖事实性、风格、拒答边界等难以完全自动化的维度;人工样本也应固定抽样规则和评分标准。

最终决策应回答三个问题:核心任务是否超过基线、硬性约束是否全部达标、提升幅度是否值得新增训练和部署成本。做到这一点,后续选择 LoRA、QLoRA 或全参数训练时,比较的就不再是“感觉哪个更好”,而是哪个方案在同一验收基线下最符合目标。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

确定训练目标与验收指标

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通