大模型原理与训练 / 系统课时

选定教师模型与学生模型

选定教师模型与学生模型

教师模型不是越大越好,学生模型也不能只看参数量。本节建立一套可执行的筛选顺序,从能力差、Tokenizer、上下文长度、架构兼容性、硬件预算和授权边界出发,选出真正适合后续蒸馏实验的一对模型。

学习目标

  • 判断教师与学生之间是否存在足够且可迁移的能力差
  • 比较 Tokenizer、上下文长度和架构差异对蒸馏方案的影响
  • 在训练资源、部署目标与授权限制之间完成最终取舍

先确定学生模型的部署边界

选型时应先确定学生模型,因为它直接受到目标硬件约束。至少记录可用显存、允许的端到端延迟、目标上下文长度,以及是否还要继续做 INT8、INT4 等量化。

例如目标设备只有有限显存,那么一个训练阶段勉强能够容纳、但推理时 KV Cache 一增长就溢出的学生模型并不合格。学生模型应当在预期上下文和并发条件下仍留有显存余量,而不是只满足“权重能加载”。

参数规模只能作为第一层过滤条件。相同参数量的模型可能因为隐藏维度、层数、注意力结构和词表规模不同而产生明显不同的实际显存占用与吞吐。

教师模型要提供可学习的能力差

教师模型的价值来自它能稳定产生比学生更好的目标,而不是来自绝对参数量。可以先使用与业务任务一致的小型验证集分别评估教师和学生,确认教师在准确率、生成质量、指令遵循或领域知识上存在明确优势。

如果两者表现几乎相同,蒸馏可获得的收益通常有限;如果教师能力强很多但输出风格与目标场景完全不匹配,学生得到的也可能是错误方向的监督信号。

一个实用组合通常满足:教师明显强于学生,学生自身已有基本任务能力,并且教师在目标数据分布上输出稳定。这样蒸馏是在已有能力上做迁移,而不是要求小模型凭少量教师样本重新学习全部任务。

检查 Tokenizer 与上下文兼容性

Tokenizer 是否一致会影响你能采用的蒸馏目标。若教师与学生共享词表或至少具有严格对应的输出空间,可以更直接地比较 token 级 logits;若两者 Tokenizer 不同,教师生成的一串 token 在学生侧可能被切成完全不同的序列,此时直接对齐每个位置的概率分布通常没有明确含义。

条件 更适合的蒸馏方式 主要原因
相同或兼容 Tokenizer Logits、隐藏状态或序列级蒸馏 token 位置和词表更容易对齐
Tokenizer 不同 教师生成答案、偏好或标签 避免强行对齐不同词表的概率
架构高度相似 可进一步尝试中间层对齐 层表示更容易建立映射
架构差异很大 优先使用输出级监督 减少对内部结构的假设

上下文长度也要按实际输入检查。如果业务样本经常达到 8K,而学生只能处理 4K,那么教师支持更长上下文并不能自动解决学生限制。应先截断、分块或重新设计输入,再生成蒸馏数据,否则训练目标与最终部署条件不一致。

不要忽略架构和训练成本

架构相似不是必须条件,却决定可用的监督信号范围。教师和学生都采用相近 Transformer 结构时,除了最终输出,还可能对齐注意力、中间隐藏状态或选定层表示;如果两者层数、隐藏维度和模块设计差异很大,输出级蒸馏通常更稳妥。

教师本身也必须在预算内可使用。在线蒸馏会让教师参与大量训练步骤,教师越大,GPU 数量、通信和训练时长越容易成为瓶颈;离线蒸馏虽然可以把教师推理提前完成,但仍要计算生成成本和保存大规模答案或 logits 的存储成本。

用约束逐层淘汰候选组合

实际选型可以按以下顺序完成,而不是给所有指标简单求平均分:

  1. 先淘汰不能在目标硬件部署的学生模型。
  2. 淘汰上下文长度无法覆盖主要业务输入的学生模型。
  3. 淘汰在目标任务上没有明显优势的教师模型。
  4. 检查 Tokenizer 和架构差异,确认计划采用的蒸馏损失是否可实现。
  5. 估算教师推理或在线训练成本,确认实验能够持续运行。
  6. 最后核对教师、学生及相关数据的授权范围。

最终得到的组合不一定是“最大教师 + 最小学生”。更理想的是教师在目标任务上稳定领先,学生能够在目标硬件上留下运行余量,两者之间又存在可以落地的监督接口。这样的模型对才值得进入后续蒸馏实验。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

选定教师模型与学生模型

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通