大模型原理与训练 / 系统课时

配置 DeepSpeed ZeRO 分片

配置 DeepSpeed ZeRO 分片

DeepSpeed ZeRO 的配置重点是先决定“分片到哪一层”,再决定是否把状态继续卸载到 CPU 或 NVMe,并用通信 bucket 控制显存与吞吐的交换。本节用 ZeRO-3 跑一个最小训练脚本,保存分片检查点,并验证检查点可以继续被 DeepSpeed 工具识别。

学习目标

  • 能区分 ZeRO Stage 1、2、3 分别切分优化器状态、梯度和参数。
  • 能配置 optimizer/parameter offload 与常用通信参数,并判断其性能代价。
  • 能保存和检查 ZeRO 分片检查点,理解它与单文件 PyTorch 权重的区别。

先选 ZeRO stage

ZeRO 的 stage 是递进关系:Stage 1 只分片优化器状态;Stage 2 再分片梯度;Stage 3 进一步分片模型参数。stage 越高,单卡常驻显存越低,但参数重建、collective 通信和检查点处理也更复杂。

模式 主要分片对象 典型用途
Stage 1 优化器状态 模型能放下,但 Adam 等状态占显存较多
Stage 2 优化器状态、梯度 反向阶段显存压力明显
Stage 3 优化器状态、梯度、参数 参数本身也无法在每张 GPU 保留完整副本

DeepSpeed ZeRO 各 stage 分片范围

编写 ZeRO-3 配置

下面配置启用 Stage 3,并把优化器状态卸载到 CPU。overlap_comm 尝试把通信与反向计算重叠,contiguous_gradients 减少梯度内存碎片,bucket 大小则控制一次通信处理的元素规模。

json
{
  "train_micro_batch_size_per_gpu": 2,
  "gradient_accumulation_steps": 1,
  "optimizer": {
    "type": "AdamW",
    "params": {
      "lr": 0.001
    }
  },
  "zero_optimization": {
    "stage": 3,
    "contiguous_gradients": true,
    "overlap_comm": true,
    "reduce_bucket_size": 50000000,
    "allgather_bucket_size": 50000000,
    "stage3_prefetch_bucket_size": 50000000,
    "offload_optimizer": {
      "device": "cpu",
      "pin_memory": true
    }
  }
}

这份配置不会单独产生控制台输出。将其保存为 ds_config.json 后,验证方法是由 DeepSpeed 启动训练,并观察初始化日志中 ZeRO stage 为 3,同时训练能完成至少一个 optimizer step。

如果 GPU 显存仍不足,可以在 Stage 3 下增加 offload_param,把参数也卸载到 CPU 或 NVMe;但 PCIe、CPU 内存或 NVMe 带宽会进入关键路径,吞吐往往下降。不要在尚未测量瓶颈前同时开启所有 offload。

运行训练并保存检查点

下面脚本创建一个小型语言模型,完成一次前向、反向和更新。所有 rank 都调用 save_checkpoint(),因为 ZeRO 检查点包含各 rank 的分片,不能只让 rank 0 参与保存。

python
import torch
import torch.nn as nn
import torch.nn.functional as F
import deepspeed


class TinyLM(nn.Module):
    def __init__(self, vocab_size=512, hidden_size=256):
        super().__init__()
        self.embed = nn.Embedding(vocab_size, hidden_size)
        self.ffn = nn.Sequential(
            nn.Linear(hidden_size, hidden_size * 4),
            nn.GELU(),
            nn.Linear(hidden_size * 4, hidden_size),
        )
        self.lm_head = nn.Linear(hidden_size, vocab_size)

    def forward(self, input_ids):
        x = self.embed(input_ids)
        x = self.ffn(x)
        return self.lm_head(x)


model = TinyLM()
engine, _, _, _ = deepspeed.initialize(
    model=model,
    model_parameters=model.parameters(),
    config="ds_config.json",
)

# 每个 rank 使用不同样本,但都参与同一步数据并行训练。
torch.manual_seed(7 + engine.global_rank)
input_ids = torch.randint(0, 512, (2, 32), device=engine.device)
targets = torch.randint(0, 512, (2, 32), device=engine.device)

logits = engine(input_ids)
loss = F.cross_entropy(logits.reshape(-1, 512), targets.reshape(-1))
engine.backward(loss)
engine.step()

if engine.global_rank == 0:
    print(f"loss={loss.item():.4f}")

# 所有 rank 都必须进入保存调用,避免分布式同步不完整。
engine.save_checkpoint(
    "checkpoints",
    tag="step1",
    client_state={"step": 1},
)

if engine.global_rank == 0:
    print("checkpoint=checkpoints/step1")

预期输出(由下方 DeepSpeed launcher 启动后;初始化日志会更多,loss 为动态值):

text
loss=<LOSS>
checkpoint=checkpoints/step1

启动两张 GPU:

bash
deepspeed --num_gpus=2 train_zero.py

预期输出:

text
loss=<LOSS>
checkpoint=checkpoints/step1

<LOSS> 会随随机数、GPU 和 DeepSpeed 版本略有不同;关键验收条件是进程无 OOM、完成一步更新并成功写入 step1 检查点。

验证检查点格式

ZeRO-3 保存的是可恢复训练的分片检查点,不应把其中某个 rank 文件误当成完整模型权重。先检查顶层的 latest 指针、对应 tag 目录,以及 DeepSpeed 随检查点提供的权重恢复工具。

bash
python - <<'PY'
from pathlib import Path

root = Path("checkpoints")
print((root / "latest").read_text().strip())
print((root / "step1").is_dir())
print((root / "zero_to_fp32.py").is_file())
PY

预期输出:

text
step1
True
True

如果最终要脱离 DeepSpeed 发布普通权重,可使用检查点目录中的 zero_to_fp32.py 在 CPU 侧重建完整权重;大模型转换时要预留足够主机内存。训练恢复则应继续使用 ZeRO 分片检查点,而不是先合并再重新切分。

调整 offload 与通信参数

当显存不足但 GPU 算力有余时,先尝试 Stage 3,再根据瓶颈决定是否 offload。optimizer offload 主要转移优化器状态和优化器计算;parameter offload 会进一步降低 GPU 参数驻留,但对主机内存和总线带宽更敏感。

bucket 并不是越小越省事:较小 bucket 可降低单次临时缓冲峰值,却会增加 collective 次数;较大 bucket 通常更利于带宽利用,却可能抬高临时显存。验收时固定 batch、序列长度和精度,同时记录峰值显存、每 step 时间和 checkpoint 保存耗时,才能判断当前 ZeRO 配置是否比 DDP 或较低 stage 更合适。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

配置 DeepSpeed ZeRO 分片

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通