大模型原理与训练 / 系统课时
混合专家模型
混合专家模型
混合专家模型通过增加多个并行专家扩大参数容量,却只让每个词元激活其中少数专家。本课将拆解路由器、专家网络、容量限制和负载均衡之间的协作关系,理解这种架构为何能够以较低的单次计算成本扩展模型。
学习目标
- 说明混合专家模型与普通稠密模型的核心差异
- 描述词元经过路由器和专家网络的处理流程
- 理解负载均衡、专家容量与训练稳定性的关系
混合专家模型的本质
普通 Transformer 的前馈网络会处理序列中的每个词元,所有参数都会参与每次前向计算。这种结构称为稠密模型:增加参数通常也会增加相应的计算量。
混合专家模型通常把某些前馈网络替换为多个独立专家。每个专家可以具有相同结构但不同参数,路由器根据词元表示计算专家得分,只选择得分最高的一个或少数几个专家执行计算。
因此,模型可以拥有大量专家参数,而每个词元只消耗少量专家的计算。这里的“混合”指不同词元可以走向不同专家,并不表示所有专家都会同时参与一次计算。

一个词元如何经过专家层
路由器首先读取每个词元的隐藏表示,并为所有专家生成一组分数。经过归一化后,这些分数可以看作路由权重。系统随后执行 Top-1 或 Top-2 选择,只保留分数最高的一个或两个专家。
被选中的词元会按照专家重新分组。原本位于同一序列中的词元可能被发送到不同专家,而来自不同序列的词元也可能进入同一专家。专家完成前馈计算后,系统再将结果恢复到原来的词元顺序。
Top-1 路由计算成本更低,但一个专家的异常会直接影响对应词元。Top-2 路由会组合两个专家的输出,通常具有更好的容错性和表达能力,不过通信量与计算量也会增加。
为什么需要负载均衡
如果只按照路由得分选择专家,训练早期可能出现少数专家吸收大部分词元的情况。热门专家持续获得更多训练数据,参数更新更充分,路由器又会进一步偏向这些专家,最终形成自我强化。
专家负载严重不均会产生两个问题:热门专家超出容量后需要丢弃或转移词元,空闲专家则浪费参数和设备资源。为缓解这种现象,训练目标通常会加入辅助负载均衡损失,鼓励路由概率和实际分配数量更加均匀。
负载均衡不要求每个专家接收完全相同的词元。合理目标是在保留专家分工的同时,避免长期出现极端拥塞。约束过强反而可能阻止专家形成有价值的专业化能力。
专家容量与溢出处理
每个专家在一个批次中可接收的词元数量通常有限,这个上限称为专家容量。容量会依据批次词元总数、专家数量和容量系数计算,并为路由波动预留一定空间。
当进入某个专家的词元超过容量时,系统需要采用明确策略。常见做法包括丢弃超额路由、将词元发送给次优专家,或扩大容量并接受更高的显存与通信成本。
容量系数过小容易造成词元丢失,过大则会为最坏情况预留大量缓冲区。训练时应同时观察各专家接收量、溢出比例、辅助损失和任务损失,而不能只依据总体吞吐量调整参数。
稠密模型与混合专家模型
| 对比项 | 稠密模型 | 混合专家模型 |
|---|---|---|
| 每个词元激活的参数 | 通常激活该层全部参数 | 只激活少量专家参数 |
| 参数扩展方式 | 参数增加通常伴随计算增加 | 可增加专家而保持近似固定激活量 |
| 设备间通信 | 相对规则 | 需要按专家重新分发词元 |
| 训练难点 | 主要关注优化与显存 | 还需处理路由、容量和负载均衡 |
| 推理部署 | 结构较直接 | 需要保存并调度全部专家参数 |
混合专家模型节省的是每个词元的激活计算量,而不是模型存储空间。即使一次只调用两个专家,部署环境仍可能需要保存所有专家参数,或者通过分布式设备按需访问它们。
设计中的关键取舍
专家数量增加可以扩大总参数量,但也会增加跨设备通信、路由管理和部署复杂度。若专家被分布在不同加速设备上,词元重排与网络传输可能成为主要瓶颈。
专家也不一定会自动形成可解释的类别分工。有些专家可能偏向特定语言、语法结构或知识类型,也可能只形成难以命名的数值分工。判断模型是否有效,应以任务质量、负载分布和计算成本为准,而不是强求每个专家具有人工可读的职责。
本课总结
- 混合专家模型通过路由器让每个词元只激活少数专家,从而扩大总参数容量
- 负载均衡与专家容量共同决定专家是否能够被稳定、有效地使用
- MoE 降低的是激活计算成本,但会增加参数存储、跨设备通信和部署复杂度
下一课预告
下一课将继续讨论 Transformer 的扩展方向,分析不同架构改进如何在计算效率、上下文长度与模型能力之间进行权衡。