大模型原理与训练 / 系统课时

用张量并行拆分单个模型

用张量并行拆分单个模型

当单张 GPU 放不下模型,或单卡算力无法满足单请求延迟时,Tensor Parallel 会把同一层的矩阵权重切到多张卡上共同计算。本篇从注意力与 MLP 的切分、每 Token 集合通信,到两卡配置与卡数选择建立可操作判断。

学习目标

  • 能说明注意力和 MLP 在线性层上如何按张量维度切分。
  • 能判断 TP 带来的显存收益与每层通信成本。
  • 能根据模型大小、互联带宽和卡数选择合理的并行度。

张量并行拆的是同一层权重

TP 与“每张卡各跑一份模型”不同:一次请求会同时占用同一个 TP 组内的所有 GPU。典型 Transformer 会把大矩阵沿输出维或输入维切分,让各卡先完成局部 GEMM,再在需要恢复完整结果的位置做集合通信。

以两卡为例,注意力的 Q/K/V 投影和 MLP 的 gate/up 投影常可以按输出维切开,每张卡只保存部分权重并产生局部激活;attention output 和 MLP down projection 一类按输入维切分的线性层,会得到部分和,需要通过 All-Reduce 或等价的 Reduce-Scatter/All-Gather 组合把结果合并。具体通信原语由引擎实现决定,但“局部矩阵乘 + 跨卡同步”的代价无法消失。

两卡张量并行中的 Transformer 层与通信路径

每个 Token 都会支付通信成本

Prefill 阶段矩阵较大,单次计算量高,集合通信更容易被计算覆盖;Decode 阶段通常一次只推进一个 Token,单层计算变小,但每层仍要同步,因此链路延迟和带宽更容易进入关键路径。模型层数越多、TP 组越大、互联越慢,通信累计越明显。

这也是为什么“卡越多越快”经常失败。TP 可以减少每张卡保存的分片权重,并聚合多卡算力,但它不会让吞吐按卡数线性增长。若模型已经能在一张卡上以足够余量运行,盲目从 TP=1 提到 TP=2 或 TP=4,可能因为集合通信让单 Token 延迟反而上升。

配置一个两卡 TP 服务

下面以 vLLM 的 OpenAI 兼容服务为例,把同一个 Qwen/Qwen3-8B 模型拆到两张可见 GPU。执行前应确认两张卡显存足够、驱动与运行环境可用,并优先选择处于同一高速互联域的 GPU。

bash
CUDA_VISIBLE_DEVICES=0,1 vllm serve Qwen/Qwen3-8B \
  --tensor-parallel-size 2 \
  --host 0.0.0.0 \
  --port 8000

预期输出

text
<...> tensor_parallel_size=2 <...>
<...> server listening on 0.0.0.0:8000 <...>

日志文本会随 vLLM 版本变化,实际 <...> 内容也会不同;真正需要核对的是服务成功监听、两张 GPU 都被占用,并且配置中的 TP size 为 2。若启动阶段直接报分片维度、attention head 或显存相关错误,应先检查模型架构与并行度是否兼容,而不是继续增加卡数。

用“最小可用 TP”选择卡数

生产上先从内存约束反推最小 TP。若模型权重加上 KV Cache、激活和运行时缓冲在单卡上有充足余量,先保留 TP=1;如果放不下,再尝试 TP=2、TP=4 等能整除关键分片维度的值,并为 KV Cache 留出业务高峰余量。不要只按“参数量除以 GPU 数”估算,因为运行时内存并不会全部等比例切分。

互联拓扑决定下一步。NVLink/NVSwitch 一类高速互联通常更适合把多卡组成一个 TP 组;只有 PCIe 时要更谨慎地验证 Decode 延迟;跨机器做 TP 还会把同步放到网络上,通常应先证明单机已无法满足模型容量或延迟目标,再接受更高通信成本。

情况 更合理的起点
单卡能放下且延迟已达标 TP=1,避免额外同步
单卡放不下,但两卡高速互联可用 TP=2,先满足容量再压测
需要 4 卡才能放下 TP=4,并重点观察 TPOT 与链路利用率
模型每份都能单卡放下,但目标是提高总吞吐 优先评估多副本数据并行,而不是继续放大 TP

验证 TP 是否真的值得

判断 TP 成败至少同时看三组数据:每张卡峰值显存是否下降到安全区间;P50/P95 的 TTFT 与 TPOT 是否仍满足 SLO;在固定并发下,总 token/s 是否随着 TP 增加得到足够收益。只要显存解决了但 Decode 延迟大幅恶化,就说明通信已经进入瓶颈。

张量并行最适合解决“一个模型实例必须跨多卡”的容量或单请求算力问题。卡数选择应遵循最小可用 TP 原则:先让模型稳定放下,再利用高速互联压低每 Token 通信成本,最后用真实负载证明多出来的 GPU 确实换来了需要的延迟或吞吐。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用张量并行拆分单个模型

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通