大模型原理与训练 / 系统课时

为 MoE 模型配置专家并行

为 MoE 模型配置专家并行

MoE 推理的难点不是把专家权重平均切到多张卡,而是让路由后的 Token 在正确的 GPU 间高效交换。本节用 4 卡 vLLM 服务说明 Expert Parallel 的配置方式,并给出专家负载、All-to-All 压力和拓扑错配的判断方法。

学习目标

  • 解释稀疏激活为什么会把计算压力转化为 All-to-All 通信压力
  • 为 MoE Serving 配置 Expert Parallel,并验证服务能够正常加载
  • 根据专家负载与链路指标识别热点专家和并行拓扑不匹配

从稀疏激活推导并行目标

MoE 层通常包含多个专家,但每个 Token 只由 Router 选择其中少数几个专家执行。例如共有 64 个专家、每个 Token 选择 2 个专家时,计算是稀疏的;真正的部署问题是这 2 个专家可能位于其他 GPU 上,因此需要先把 Token 激活发送到目标专家,再把专家输出送回原来的计算路径。

Expert Parallel 的核心做法是让不同 Rank 持有不同专家。与把同一个矩阵切片到多卡的 Tensor Parallel 不同,EP 的通信模式更接近“按路由结果重新分发 Token”。因此一次 MoE 层往往包含 Dispatch All-to-All、专家计算和 Combine All-to-All 三段,路由越不均衡,越容易出现部分 GPU 忙、部分 GPU 等待的情况。

MoE Expert Parallel 的 Token 分发与回收链路

EP 并不会自动消除负载不均。它只改变专家权重的放置和 Token 的交换方式;如果 Router 长期把大量 Token 送往少数专家,或者 EP Rank 被跨越低速 PCIe、NUMA 甚至普通以太网放置,延迟仍可能显著恶化。

配置一个最小 Expert Parallel 服务

下面以单机 4 GPU、vLLM OpenAI 兼容服务为例。前提是 <MODEL_PATH> 指向一个受当前 vLLM 版本支持的 MoE 模型,4 张 GPU 都可见且显存足以装下该模型。--enable-expert-parallel 让 MoE 专家使用 EP;--tensor-parallel-size 4 定义参与该并行组的 4 个 Rank,非 MoE 层仍按引擎支持的方式参与模型并行。

bash
export CUDA_VISIBLE_DEVICES=0,1,2,3

vllm serve <MODEL_PATH> \
  --served-model-name moe-ep \
  --tensor-parallel-size 4 \
  --enable-expert-parallel \
  --host 0.0.0.0 \
  --port <PORT>

预期结果

text
服务进程保持运行并监听 <PORT>;模型对外名称为 moe-ep,启动过程中没有模型加载失败、CUDA OOM 或分布式通信初始化错误。

<MODEL_PATH> 和 <PORT> 需要替换为实际值。若模型并不是 MoE,或者当前引擎版本不支持该模型的 EP 实现,不应仅靠添加开关强行启用;先确认模型架构和 Serving 引擎的支持范围。

用负载和链路指标判断是否真的受益

观察 EP 不能只看平均 GPU 利用率。至少要同时收集每个专家在固定时间窗口内接收的 Token 数、All-to-All 耗时或传输字节、每张 GPU 的计算利用率,以及 NVLink、NVSwitch、InfiniBand 或 RoCE 等实际数据通路的利用率。框架没有导出 per-expert 计数时,应通过其 Router/EPLB 诊断能力或离线压测埋点补齐,而不是用单个 GPU 利用率猜测专家是否均衡。

一个简单的负载不均衡指标是 r=maxi(loadi)/meani(loadi)r = max_i(load_i) / mean_i(load_i)。当 rr 持续升高,同时部分 GPU 忙而其他 GPU 等待,通常说明存在热点专家;如果专家负载已经比较均衡,但 All-to-All 时间占比明显升高,更应检查专家是否被分布到了跨 NUMA、跨 PCIe 根节点或跨慢速网络的 Rank 上。

观测现象 更可能的原因 优先检查
少数专家 Token 数长期偏高 Router 偏置或请求分布集中 per-expert Token 计数、负载均衡策略
各专家负载接近但通信时间高 EP Rank 拓扑不合理 NVLink/NVSwitch 域、NUMA、跨机链路
GPU 利用率呈一高一低交替 All-to-All 等待或批次不均 通信时间线、批大小、专家放置
吞吐提升但 P95 延迟恶化 大批次掩盖了通信尾延迟 P50/P95、单请求 Token 路径

修复热点专家与拓扑错配

热点专家首先是路由问题,不是简单增加 GPU 就能解决。若 Serving 框架提供 Expert Parallel Load Balancing 或冗余专家能力,可以在稳定压测流量下启用并观察专家迁移前后的负载差异;如果没有,应优先调整请求混合、批处理策略或专家副本方案,而不是盲目扩大 EP 组。

拓扑问题则应从“高频通信留在最快互联域”出发。单机优先让 EP Rank 位于同一 NVLink/NVSwitch 域;多机必须跨节点时,应确保节点间使用预期的高速网络,并通过 NCCL 或网络监控确认数据没有意外回落到低速接口。最终验收不是“开关已经打开”,而是在同一请求集和批量配置下,专家负载没有持续热点、All-to-All 没有成为新的主瓶颈,并且吞吐与尾延迟都符合服务目标。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

为 MoE 模型配置专家并行

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通