大模型原理与训练 / 系统课时
建立基座与微调对照组
建立基座与微调对照组
评测微调效果时,最常见的误判不是模型真的变好,而是不同检查点使用了不同提示模板、解码参数或推理精度。本篇把基座、LoRA、QLoRA 和全参数模型放进同一评测协议,用固定数据和确定性生成得到可直接配对的结果。
学习目标
- 为基座、LoRA、QLoRA 与全参数检查点建立同条件对照组。
- 固定提示模板、解码参数、数据顺序和推理精度,减少非模型因素干扰。
- 生成逐样本可配对的预测文件,为后续人工或自动评分提供一致输入。
先冻结所有非模型变量
公平比较时,唯一应主动变化的是“使用哪个检查点”。评测数据、提示模板、最大生成长度、停止条件、批大小以及随机策略都应固定。质量评测建议先使用贪心生成等确定性解码;若必须采样,则固定随机种子并重复多次,不要只比较一次随机结果。
| 变量 | 对照要求 | 原因 |
|---|---|---|
| 评测样本 | 同一文件、同一顺序 | 防止题目难度差异 |
| 提示模板 | 完全相同 | 模板变化会直接改变输出 |
| 解码参数 | 同一套配置 | 温度、top-p 会改变随机性 |
| 最大生成长度 | 相同 | 避免一组因截断吃亏 |
| 推理 dtype | 尽量相同 | 避免把量化误差混进训练方法比较 |
| 计分规则 | 同一脚本或人工规范 | 保证分数可解释 |
QLoRA 的“训练方法效果”和“4 bit 部署效果”最好拆成两个问题。若比较训练方法本身,可以把 LoRA 与 QLoRA 适配器都挂到相同的 BF16、FP16 或其他统一精度基座上推理;若评估部署形态,再单独把 QLoRA 放回量化推理路径。否则训练差异和推理量化误差会混在一起。
用统一脚本生成四组结果
下面的脚本要求已经安装 PyTorch、Transformers 和 PEFT,并准备四个路径:基座模型、LoRA 适配器、QLoRA 适配器和全参数检查点。LoRA 与 QLoRA 都加载到同一个基座和相同 dtype 上,用于比较训练结果本身。
# compare_models.py
import argparse
import gc
import json
from pathlib import Path
import torch
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer
parser = argparse.ArgumentParser()
parser.add_argument('--base', required=True)
parser.add_argument('--lora', required=True)
parser.add_argument('--qlora', required=True)
parser.add_argument('--full', required=True)
parser.add_argument('--eval', required=True)
parser.add_argument('--out', default='predictions.jsonl')
parser.add_argument('--max-new-tokens', type=int, default=128)
args = parser.parse_args()
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
dtype = (
torch.bfloat16
if device.type == 'cuda' and torch.cuda.is_bf16_supported()
else torch.float32
)
torch.manual_seed(2026)
tokenizer = AutoTokenizer.from_pretrained(args.base)
if tokenizer.pad_token_id is None:
tokenizer.pad_token_id = tokenizer.eos_token_id
samples = [
json.loads(line)
for line in Path(args.eval).read_text(encoding='utf-8').splitlines()
]
variants = [
('base', None),
('lora', args.lora),
('qlora', args.qlora),
('full', args.full),
]
rows = []
for name, path in variants:
# LoRA 与 QLoRA 挂到同一基座,全参数检查点直接加载自己的权重。
model_path = args.base if name in {'base', 'lora', 'qlora'} else path
model = AutoModelForCausalLM.from_pretrained(
model_path, torch_dtype=dtype
).to(device)
if name in {'lora', 'qlora'}:
model = PeftModel.from_pretrained(model, path)
model.eval()
for sample in samples:
question = sample['prompt']
prompt = f'### 指令:\n{question}\n### 回答:\n'
inputs = tokenizer(prompt, return_tensors='pt').to(device)
with torch.inference_mode():
output_ids = model.generate(
**inputs,
do_sample=False,
max_new_tokens=args.max_new_tokens,
pad_token_id=tokenizer.pad_token_id,
eos_token_id=tokenizer.eos_token_id,
)
generated = output_ids[0, inputs['input_ids'].shape[1]:]
rows.append(
{
'id': sample['id'],
'model': name,
'output': tokenizer.decode(
generated, skip_special_tokens=True
).strip(),
}
)
del model
gc.collect()
if device.type == 'cuda':
torch.cuda.empty_cache()
Path(args.out).write_text(
'\n'.join(json.dumps(row, ensure_ascii=False) for row in rows) + '\n',
encoding='utf-8',
)
print(f'wrote {len(rows)} rows to {args.out}')
print('groups=base,lora,qlora,full')准备一个最小评测集,字段只保留稳定的样本 ID 与用户问题:
{"id":"q1","prompt":"用两句话解释什么是过拟合。"}
{"id":"q2","prompt":"给出三个排查接口超时的优先步骤。"}假设四类模型文件位于同一个目录。运行前把 <PATH> 替换成实际模型根目录:
export MODEL_ROOT='<PATH>'
python compare_models.py --base "$MODEL_ROOT/base" --lora "$MODEL_ROOT/lora-adapter" --qlora "$MODEL_ROOT/qlora-adapter" --full "$MODEL_ROOT/full-checkpoint" --eval eval.jsonl --out predictions.jsonl预期输出只断言样本数量和组别,不伪造任何模型回答。两个样本乘四个对照组,应得到八行预测:
wrote 8 rows to predictions.jsonl
groups=base,lora,qlora,fullpredictions.jsonl 中的 output 由模型实际生成,因此具体内容会随检查点变化。后续评分应按 id 将四个模型的回答配成一组,而不是先把不同模型的平均分混在一起。
让对照结果可以解释
生成质量之外,最好把“质量”和“性能”拆开记录。质量对照固定 dtype、提示模板和生成配置;吞吐与显存对照则固定硬件、批大小、输入长度和输出长度,并明确 QLoRA 是否使用量化推理。这样才能分别回答“训练方式让模型能力变好了吗”和“部署形态让成本下降了吗”。
若 LoRA 或 QLoRA 明显优于基座,先抽查同一 id 的四条回答,确认优势来自任务能力,而不是输出更长、提示模板更友好或推理精度不同。只有控制变量成立,后续自动指标、人工偏好和业务通过率才具有可比较性。
避免三种常见污染
第一种污染是给不同模型使用各自训练时的提示模板,此时测到的是“模型 + 模板”的组合差异。第二种污染是一个模型使用贪心生成,另一个使用高温采样,单次结果无法直接比较。第三种污染是把 QLoRA 的量化推理结果与高精度全参数模型直接解释成“训练方法差异”。
建立对照组的核心不是多跑几个模型,而是让除了检查点以外的变量都可追踪、可复现。先得到逐样本配对的四组原始输出,再进行指标汇总,才能在模型选择时判断分数变化究竟来自哪里。