大模型原理与训练 / 系统课时

建立基座与微调对照组

建立基座与微调对照组

评测微调效果时,最常见的误判不是模型真的变好,而是不同检查点使用了不同提示模板、解码参数或推理精度。本篇把基座、LoRA、QLoRA 和全参数模型放进同一评测协议,用固定数据和确定性生成得到可直接配对的结果。

学习目标

  • 为基座、LoRA、QLoRA 与全参数检查点建立同条件对照组。
  • 固定提示模板、解码参数、数据顺序和推理精度,减少非模型因素干扰。
  • 生成逐样本可配对的预测文件,为后续人工或自动评分提供一致输入。

先冻结所有非模型变量

公平比较时,唯一应主动变化的是“使用哪个检查点”。评测数据、提示模板、最大生成长度、停止条件、批大小以及随机策略都应固定。质量评测建议先使用贪心生成等确定性解码;若必须采样,则固定随机种子并重复多次,不要只比较一次随机结果。

变量 对照要求 原因
评测样本 同一文件、同一顺序 防止题目难度差异
提示模板 完全相同 模板变化会直接改变输出
解码参数 同一套配置 温度、top-p 会改变随机性
最大生成长度 相同 避免一组因截断吃亏
推理 dtype 尽量相同 避免把量化误差混进训练方法比较
计分规则 同一脚本或人工规范 保证分数可解释

QLoRA 的“训练方法效果”和“4 bit 部署效果”最好拆成两个问题。若比较训练方法本身,可以把 LoRA 与 QLoRA 适配器都挂到相同的 BF16、FP16 或其他统一精度基座上推理;若评估部署形态,再单独把 QLoRA 放回量化推理路径。否则训练差异和推理量化误差会混在一起。

用统一脚本生成四组结果

下面的脚本要求已经安装 PyTorch、Transformers 和 PEFT,并准备四个路径:基座模型、LoRA 适配器、QLoRA 适配器和全参数检查点。LoRA 与 QLoRA 都加载到同一个基座和相同 dtype 上,用于比较训练结果本身。

python
# compare_models.py
import argparse
import gc
import json
from pathlib import Path

import torch
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer

parser = argparse.ArgumentParser()
parser.add_argument('--base', required=True)
parser.add_argument('--lora', required=True)
parser.add_argument('--qlora', required=True)
parser.add_argument('--full', required=True)
parser.add_argument('--eval', required=True)
parser.add_argument('--out', default='predictions.jsonl')
parser.add_argument('--max-new-tokens', type=int, default=128)
args = parser.parse_args()

device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
dtype = (
    torch.bfloat16
    if device.type == 'cuda' and torch.cuda.is_bf16_supported()
    else torch.float32
)
torch.manual_seed(2026)

tokenizer = AutoTokenizer.from_pretrained(args.base)
if tokenizer.pad_token_id is None:
    tokenizer.pad_token_id = tokenizer.eos_token_id

samples = [
    json.loads(line)
    for line in Path(args.eval).read_text(encoding='utf-8').splitlines()
]
variants = [
    ('base', None),
    ('lora', args.lora),
    ('qlora', args.qlora),
    ('full', args.full),
]
rows = []

for name, path in variants:
    # LoRA 与 QLoRA 挂到同一基座,全参数检查点直接加载自己的权重。
    model_path = args.base if name in {'base', 'lora', 'qlora'} else path
    model = AutoModelForCausalLM.from_pretrained(
        model_path, torch_dtype=dtype
    ).to(device)
    if name in {'lora', 'qlora'}:
        model = PeftModel.from_pretrained(model, path)
    model.eval()

    for sample in samples:
        question = sample['prompt']
        prompt = f'### 指令:\n{question}\n### 回答:\n'
        inputs = tokenizer(prompt, return_tensors='pt').to(device)
        with torch.inference_mode():
            output_ids = model.generate(
                **inputs,
                do_sample=False,
                max_new_tokens=args.max_new_tokens,
                pad_token_id=tokenizer.pad_token_id,
                eos_token_id=tokenizer.eos_token_id,
            )
        generated = output_ids[0, inputs['input_ids'].shape[1]:]
        rows.append(
            {
                'id': sample['id'],
                'model': name,
                'output': tokenizer.decode(
                    generated, skip_special_tokens=True
                ).strip(),
            }
        )

    del model
    gc.collect()
    if device.type == 'cuda':
        torch.cuda.empty_cache()

Path(args.out).write_text(
    '\n'.join(json.dumps(row, ensure_ascii=False) for row in rows) + '\n',
    encoding='utf-8',
)
print(f'wrote {len(rows)} rows to {args.out}')
print('groups=base,lora,qlora,full')

准备一个最小评测集,字段只保留稳定的样本 ID 与用户问题:

json
{"id":"q1","prompt":"用两句话解释什么是过拟合。"}
{"id":"q2","prompt":"给出三个排查接口超时的优先步骤。"}

假设四类模型文件位于同一个目录。运行前把 <PATH> 替换成实际模型根目录:

bash
export MODEL_ROOT='<PATH>'
python compare_models.py --base "$MODEL_ROOT/base" --lora "$MODEL_ROOT/lora-adapter" --qlora "$MODEL_ROOT/qlora-adapter" --full "$MODEL_ROOT/full-checkpoint" --eval eval.jsonl --out predictions.jsonl

预期输出只断言样本数量和组别,不伪造任何模型回答。两个样本乘四个对照组,应得到八行预测:

text
wrote 8 rows to predictions.jsonl
groups=base,lora,qlora,full

predictions.jsonl 中的 output 由模型实际生成,因此具体内容会随检查点变化。后续评分应按 id 将四个模型的回答配成一组,而不是先把不同模型的平均分混在一起。

让对照结果可以解释

生成质量之外,最好把“质量”和“性能”拆开记录。质量对照固定 dtype、提示模板和生成配置;吞吐与显存对照则固定硬件、批大小、输入长度和输出长度,并明确 QLoRA 是否使用量化推理。这样才能分别回答“训练方式让模型能力变好了吗”和“部署形态让成本下降了吗”。

若 LoRA 或 QLoRA 明显优于基座,先抽查同一 id 的四条回答,确认优势来自任务能力,而不是输出更长、提示模板更友好或推理精度不同。只有控制变量成立,后续自动指标、人工偏好和业务通过率才具有可比较性。

避免三种常见污染

第一种污染是给不同模型使用各自训练时的提示模板,此时测到的是“模型 + 模板”的组合差异。第二种污染是一个模型使用贪心生成,另一个使用高温采样,单次结果无法直接比较。第三种污染是把 QLoRA 的量化推理结果与高精度全参数模型直接解释成“训练方法差异”。

建立对照组的核心不是多跑几个模型,而是让除了检查点以外的变量都可追踪、可复现。先得到逐样本配对的四组原始输出,再进行指标汇总,才能在模型选择时判断分数变化究竟来自哪里。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

建立基座与微调对照组

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通