大模型原理与训练 / 知识点

大模型从选型到部署术语速查

压缩显存并规划并行

通过分片训练状态减少数据并行冗余的技术体系;用于区分参数、梯度和优化器状态的显存来源,二者分片策略与阶段不能简单一一等同。Hugging Face

FSDP 与 ZeRO

FSDP 与 ZeRO 都通过把原本在数据并行副本中重复保存的训练状态拆分到多个进程或设备,降低单卡显存压力;它们解决的是相似问题,但抽象层、实现方式和“阶段”定义不能简单一一对应。

成立边界

讨论二者时要先区分三类主要训练状态:参数、梯度、优化器状态。传统数据并行通常让每个进程各自持有这些状态的完整副本;分片方案则让每个进程只长期保存其中一部分,并在计算需要时通过通信临时聚合或交换。

FSDP 通常指 PyTorch 的 Fully Sharded Data Parallel 体系;ZeRO 指把数据并行中的冗余状态逐步分片的一类方法及其工程实现。两者都可能同时涉及通信、参数聚合、重分片和混合精度,因此不能只凭“都省显存”判断配置等价。

与普通数据并行的区别

方式 长期保存的训练状态 主要代价
普通数据并行 每个进程通常保留完整副本 显存冗余高,逻辑简单
FSDP 可对参数、梯度及优化器状态进行分片 需要额外通信与聚合
ZeRO 按其具体阶段逐步减少不同状态的副本 阶段越深入,通信与实现约束通常越多

最小算例

下面只是说明“完整复制”和“理想完全分片”的容量差异,不代表真实训练显存;真实占用还包括激活、临时通信缓冲区、碎片和框架开销。

python
states_gb = {
    "parameters": 8,
    "gradients": 8,
    "optimizer": 16,
}
world_size = 4

replicated_total = sum(states_gb.values())
ideal_shard_per_rank = replicated_total / world_size

print(f"replicated per rank: {replicated_total:.0f} GB")
print(f"ideal sharded per rank: {ideal_shard_per_rank:.0f} GB")

预期输出:

text
replicated per rank: 32 GB
ideal sharded per rank: 8 GB

这个结果只表达容量上界关系:若三类状态都平均分到 4 个进程,每个进程长期持有的这部分状态理论上约为原来的四分之一;它不表示实际训练一定只占 8 GB。

常见误解

最常见的误解是把“分片级别”当成跨框架通用编号。判断两套方案是否等价时,应逐项核对参数、梯度、优化器状态、卸载策略和检查点行为,而不是把名称或阶段号直接对齐。

优化推断并解释服务指标

目录与阅读设置

记录一个想法

大模型从选型到部署术语速查

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通