大模型原理与训练 / 系统课时

用 device_map 切分大模型

用 device_map 切分大模型

当单张 GPU 放不下模型时,可以让 Transformers 按设备容量把不同模块分配到多张 GPU,并把剩余权重卸载到 CPU。这里会实际限制两张 GPU 的可用显存、检查 hf_device_map,再观察跨设备与 CPU 卸载为何会牺牲推理速度。

学习目标

  • 使用 device_map="auto" 和 max_memory 控制模型在多设备间的分配
  • 通过 hf_device_map 验证每个模块实际落在哪个设备
  • 解释 GPU 间激活传输和 CPU 权重搬运为何会增加延迟

device_map 解决的是容量问题

device_map 描述模型模块放在哪个设备。使用 "auto" 时,加载逻辑会优先利用更快的设备,在 GPU 容量不足后再使用 CPU;如果仍不足,还可以进一步使用磁盘卸载。max_memory 则给每个设备设置上限,避免自动分配把显存或内存吃满。

这类切分属于大模型推理的容量扩展,不是高效的数据并行。一次前向传播仍要按层顺序执行:前一段层算完后,激活才能交给下一段设备;若某些权重驻留在 CPU,还会发生主机与 GPU 之间的权重搬运。设备越慢、边界越多,等待越明显。

device_map 跨设备切分与传输路径

限制显存并自动切分

下面示例要求至少两张 CUDA GPU。为了稳定演示 CPU 卸载,它把两张 GPU 的模型权重预算都限制为 4 GiB,并给 CPU 24 GiB;实际部署应按你的设备容量留出 KV Cache、激活和运行时开销后重新设置,而不是照抄这个数字。

python
import time
from collections import Counter

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

MODEL_ID = "Qwen/Qwen2.5-7B-Instruct"

if torch.cuda.device_count() < 2:
    raise SystemExit("This example requires at least two CUDA GPUs.")

max_memory = {
    0: "4GiB",
    1: "4GiB",
    "cpu": "24GiB",
}

tokenizer = AutoTokenizer.from_pretrained(MODEL_ID)
model = AutoModelForCausalLM.from_pretrained(
    MODEL_ID,
    dtype=torch.float16,
    device_map="auto",
    max_memory=max_memory,
)

placement = Counter(str(device) for device in model.hf_device_map.values())
print(f"devices={sorted(placement)}")
print(f"modules_per_device={dict(placement)}")

prompt = "列出降低大模型推理显存占用的三种方法。"
input_device = next(model.parameters()).device
inputs = tokenizer(prompt, return_tensors="pt").to(input_device)

for device_index in (0, 1):
    torch.cuda.synchronize(device_index)
start = time.perf_counter()
with torch.inference_mode():
    output_ids = model.generate(
        **inputs,
        max_new_tokens=48,
        do_sample=False,
    )
for device_index in (0, 1):
    torch.cuda.synchronize(device_index)

print(f"generation_seconds={time.perf_counter() - start:.3f}")
print(tokenizer.decode(output_ids[0], skip_special_tokens=True))

预期输出

text
devices=['0', '1', 'cpu']
modules_per_device={'0': <COUNT>, '1': <COUNT>, 'cpu': <COUNT>}
generation_seconds=<TIME>
<GENERATED_TEXT>

<COUNT>、<TIME> 和 <GENERATED_TEXT> 是动态值,具体结果取决于模型版本、GPU 数量与显存、CPU 内存和互连速度。若输出中没有 cpu,说明模型在给定 GPU 预算内已经放得下;若加载阶段直接失败,则应先检查 CPU 内存是否足够或调低模型规模。

用 hf_device_map 检查实际边界

不要只因为传了 device_map="auto" 就假设切分符合预期。model.hf_device_map 才是加载后的事实来源:它会显示嵌入层、Transformer 层、归一化层和输出头等模块实际落在哪个设备。

排查时重点看两个问题。第一,相邻层是否被分成了过多设备段;边界越多,激活跨设备复制越频繁。第二,是否有大量层落到 cpu;CPU 卸载能让模型“装得下”,但权重在需要时搬到 GPU 会增加传输等待,因此通常是容量兜底而非低延迟方案。

容量够了仍然慢时怎么处理

先做一个基线:在能完整容纳模型的单卡或单设备配置上测相同提示词和解码长度,再与多设备切分版本比较。如果加入第二张 GPU 后显存问题消失但单请求延迟反而上升,通常不是 device_map 失效,而是模型并行中的等待与传输成本超过了单卡收益。

当 CPU 卸载成为主要瓶颈时,优先顺序通常是减少 CPU 上的层、结合 8bit/4bit 降低权重占用、提高 GPU 显存预算,最后才考虑继续增加更慢的卸载层级。若目标是多请求吞吐而不是“让单个模型装得下”,还应评估专门的并行或批处理方案,而不是把 device_map 当成通用加速开关。

device_map 最适合解决“模型容量超过单设备”的问题。只要 hf_device_map 与资源预算一致、没有意外落盘,并且真实负载下的延迟仍满足服务目标,这种切分就是有效方案;否则应把量化或更合适的并行策略纳入下一轮优化。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用 device_map 切分大模型

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通