大模型原理与训练 / 系统课时

验证合并前后输出一致性

验证合并前后输出一致性

这一节把“看起来能加载”升级成可交付验证:在相同基座、tokenizer、dtype、随机种子和解码参数下,对比 adapter 模式与合并模型的 token 输出和 logits 差异,并用分阶段对照法判断偏差究竟来自权重合并、量化还是推理配置。

学习目标

  • 建立可重复的合并前后 A/B 验证基线
  • 同时比较生成 token 与数值评分,而不是只看一段文本是否相似
  • 按 dtype、量化、基座版本和解码配置定位异常偏差

先把变量锁死

一致性测试最忌讳“一边换模型,一边换环境”。两条分支必须使用同一个基座 revision、同一 tokenizer、同一 prompt、同一 dtype 和同一套生成参数。首次验收建议使用 do_sample=False 的贪心解码,这样输出不依赖随机采样;仍然设置固定 seed,便于后续加入采样测试时保持基线。

如果生产模型还要量化,不要一步把“合并”和“量化”混在一起比较。先做 adapter 与同精度 merged 的对照,只验证 merge;再做 merged 高精度模型与最终量化模型的对照,只验证量化。这样一旦偏差出现,定位范围不会同时落在两个变量上。

LoRA 合并一致性两阶段验证流程

运行同条件 A/B 验证

下面脚本先以 adapter 方式推理并保存最后一个位置的 logits,再执行 merge_and_unload()、保存并重新加载合并模型,最后比较生成 token 是否完全一致,以及 logits 的最大绝对差。运行前替换 <ID> 和 <PATH>;为了让测试有意义,两次加载必须使用相同精度。

python
from pathlib import Path
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, set_seed
from peft import PeftModel

BASE_MODEL = "<ID>"
BASE_REVISION = "<ID>"
ADAPTER_DIR = "<PATH>"
MERGED_DIR = "<PATH>"
PROMPT = "用一句话解释 LoRA 的核心作用。"

if torch.cuda.is_available():
    DTYPE = torch.bfloat16 if torch.cuda.is_bf16_supported() else torch.float16
else:
    DTYPE = torch.float32

def load_base():
    kwargs = {"torch_dtype": DTYPE}
    if torch.cuda.is_available():
        kwargs["device_map"] = "auto"
    if not Path(BASE_MODEL).exists():
        kwargs["revision"] = BASE_REVISION
    return AutoModelForCausalLM.from_pretrained(BASE_MODEL, **kwargs)

def to_input_device(model, batch):
    device = model.get_input_embeddings().weight.device
    return {name: tensor.to(device) for name, tensor in batch.items()}

def main():
    set_seed(2026)
    tokenizer = AutoTokenizer.from_pretrained(
        BASE_MODEL,
        revision=None if Path(BASE_MODEL).exists() else BASE_REVISION,
    )
    batch = tokenizer(PROMPT, return_tensors="pt")
    generation = {"max_new_tokens": 32, "do_sample": False, "use_cache": True}

    base = load_base()
    adapter_model = PeftModel.from_pretrained(base, ADAPTER_DIR).eval()
    adapter_batch = to_input_device(adapter_model, batch)

    # 同时保留离散 token 与连续 logits,避免只比较表面文本。
    with torch.no_grad():
        adapter_logits = adapter_model(**adapter_batch).logits[:, -1, :].float().cpu()
        adapter_ids = adapter_model.generate(**adapter_batch, **generation).cpu()

    merged = adapter_model.merge_and_unload().eval()
    Path(MERGED_DIR).mkdir(parents=True, exist_ok=True)
    merged.save_pretrained(MERGED_DIR, safe_serialization=True)
    tokenizer.save_pretrained(MERGED_DIR)

    reload_kwargs = {"torch_dtype": DTYPE}
    if torch.cuda.is_available():
        reload_kwargs["device_map"] = "auto"
    reloaded = AutoModelForCausalLM.from_pretrained(
        MERGED_DIR,
        **reload_kwargs,
    ).eval()
    merged_batch = to_input_device(reloaded, batch)

    with torch.no_grad():
        merged_logits = reloaded(**merged_batch).logits[:, -1, :].float().cpu()
        merged_ids = reloaded.generate(**merged_batch, **generation).cpu()

    max_abs_diff = (adapter_logits - merged_logits).abs().max().item()
    print(f"token_ids_equal: {torch.equal(adapter_ids, merged_ids)}")
    print(f"max_abs_logit_diff: {max_abs_diff:.8f}")
    print("adapter_text:", tokenizer.decode(adapter_ids[0], skip_special_tokens=True))
    print("merged_text:", tokenizer.decode(merged_ids[0], skip_special_tokens=True))

if __name__ == "__main__":
    main()

预期输出

text
token_ids_equal: True
max_abs_logit_diff: <FLOAT>
adapter_text: <GENERATED_TEXT>
merged_text: <GENERATED_TEXT>

<FLOAT> 会随模型、算子实现和精度变化;这里不应伪造固定数值。同环境、同 dtype 的验证通常期待差异很小且贪心 token 完全一致,但最终阈值仍应由你的模型、硬件和推理栈校准,而不是照搬一个通用常数。

出现偏差时按顺序定位

先确认基座 revision。只要 adapter 挂载的基座与合并时使用的基座不是同一提交,后续比较就没有意义。接着确认 tokenizer 与 special token 配置,尤其是 pad、bos、eos 和 chat template 是否一致;这些差异会让“同一句 prompt”实际编码成不同 token 序列。

再检查 dtype。不要拿 bf16 的 adapter 路径去和 fp16 或 int4 的 merged 路径直接做数值阈值比较。若必须比较不同精度,先在同精度下证明 merge 正常,再把精度变化单独作为第二个实验变量。

随后检查 adapter 是否重复应用。常见错误是加载了已经合并的模型后,又在服务启动脚本里再次挂载同一个 LoRA;这会把增量效果叠加两次。另一个常见问题是直接在训练期的 4 bit 包装状态上执行合并,再把量化误差和 merge 误差混成一个问题。

最后检查生成配置。temperature、top_p、top_k、repetition_penalty、max_new_tokens、停止词和 chat template 任何一个不同,都可能让文本分叉。生产使用采样时,应固定多组 seed 分别运行,而不是要求一次随机生成逐 token 完全相同。

建立可交付的验收门槛

交付门槛至少包含两类信号:一类是离散行为,例如固定提示词下贪心 token 是否一致;另一类是连续数值,例如 logits 最大绝对差或任务评分差。若文本一致但数值漂移持续放大,说明模型可能处在“暂时没翻转 token,但数值已经变了”的边缘状态,仍值得追查。

只有在同精度 merge 验证通过之后,才进入量化和目标推理引擎验证。这样最终看到的偏差可以被明确归因到合并、量化或引擎三个阶段中的某一段,交付结论才可复现、可解释,也便于后续回归测试。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

验证合并前后输出一致性

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通