大模型原理与训练 / 系统课时

处理长序列带来的显存压力

处理长序列带来的显存压力

长序列训练的显存峰值通常不是“样本多”,而是少量超长样本把批次长度、Padding 和注意力激活同时推高。本节给出一套可执行的长度审计与打包规划方法,并用标签锚点检查截断是否破坏监督语义。

学习目标

  • 区分最大序列长度、Padding、打包和激活对显存的不同影响。
  • 用长度统计选择动态 Padding、长度分桶、打包或截断策略。
  • 在截断前验证任务关键上下文和标签依据仍被保留。

先定位显存是被什么推高的

同一批样本进入模型时,通常会补齐到该批最长序列。若一个批次里混入 1600 Token 的长样本,即使其余样本只有 200~300 Token,也可能让大量位置只用于 Padding。把所有样本固定补到全局 max_length 会进一步放大浪费。

序列长度还会放大激活占用。残差、MLP 等中间激活大致随批大小和序列长度线性增长,而标准全注意力中的注意力矩阵包含 L × L 关系,长度增加时相关占用会呈二次增长。训练还要保留反向传播所需中间结果,因此峰值通常明显高于纯推理。

长序列训练的显存热点关系图

因此排查时不要只看 OOM 发生在哪一步,而要同时记录每批的最长长度、有效 Token 数、Padding 比例和异常长样本。若长样本本身不可截断,再考虑减小 micro-batch 或使用激活检查点;梯度累积只能维持有效批大小,不能消除单个长序列本身的激活成本。

用长度审计决定截断与打包

下面的脚本不做真实张量拼接,而是先计算训练计划:比较普通批处理的 Padding 浪费与 1024 Token 容量下的贪心打包,并检查“标签依据所在位置”是否会被截掉。这个检查应先于真正的数据整理。

python
from dataclasses import dataclass

@dataclass(frozen=True)
class Sample:
    sample_id: str
    tokens: int
    label_anchor: int

# label_anchor 表示决定标签的关键 Token 位置,用于做语义安全检查。
SAMPLES = [
    Sample("s1", 220, 180),
    Sample("s2", 780, 420),
    Sample("s3", 1600, 900),
    Sample("s4", 300, 260),
    Sample("s5", 1450, 1300),
]
MAX_LEN = 1024
BATCH_SIZE = 2

def clipped_len(sample):
    return min(sample.tokens, MAX_LEN)

def padded_tokens(batch):
    # 动态 Padding 后,一个批次仍要补齐到批内最长序列。
    longest = max(clipped_len(item) for item in batch)
    return longest * len(batch)

def first_fit_pack(samples):
    # 这里只规划 Token 容量;真实模型还需要隔离不同样本的注意力边界。
    packs = []
    for sample in sorted(samples, key=clipped_len, reverse=True):
        length = clipped_len(sample)
        for index, (items, used) in enumerate(packs):
            if used + length <= MAX_LEN:
                items.append(sample)
                packs[index] = (items, used + length)
                break
        else:
            packs.append(([sample], length))
    return packs

def main():
    naive = sum(
        padded_tokens(SAMPLES[i:i + BATCH_SIZE])
        for i in range(0, len(SAMPLES), BATCH_SIZE)
    )
    effective = sum(clipped_len(item) for item in SAMPLES)
    packs = first_fit_pack(SAMPLES)
    packed_capacity = len(packs) * MAX_LEN

    # 标签锚点落在截断线之后,说明“能截”不等于“语义安全”。
    unsafe = [
        item.sample_id for item in SAMPLES
        if item.label_anchor >= MAX_LEN
    ]

    print(f"naive_padded_tokens={naive}")
    print(f"effective_tokens={effective}")
    print(f"packed_capacity={packed_capacity}")
    print(f"unsafe_truncation={unsafe}")

if __name__ == "__main__":
    main()

预期输出

text
naive_padded_tokens=4632
effective_tokens=3348
packed_capacity=4096
unsafe_truncation=['s5']

这里的 s5 虽然可以机械截到 1024 Token,但标签依据位于第 1300 个 Token 左右,直接保留前缀会改变监督语义。对于分类任务,应确认决定标签的证据仍在保留窗口内;对于生成式蒸馏,还要保证学生输入、教师输出与损失对齐使用的是同一段上下文。

按风险从低到高降低显存

优先采用不改变样本语义的优化。先把全局固定 Padding 改为按批动态 Padding,再按长度分桶,让相近长度进入同一批。若训练框架支持 sequence packing,可把多个短样本放进同一容量块,但必须使用正确的 position id 和块状/分段注意力掩码,避免不同样本互相看到内容。

仍有压力时,再降低 micro-batch;需要保持有效批大小时配合梯度累积。若任务必须保留长上下文,可以启用激活检查点,用额外重算换显存。只有确认任务证据分布后才调整 max_length,因为截断是这里唯一可能直接改变样本含义的动作。

验证优化没有换来错误标签

上线新的长度策略前,至少对被截断样本单独抽检:记录原始长度、保留区间和标签证据位置,并统计有多少样本的关键位置越过截断线。对蒸馏任务,还要比较截断前后的教师预测或教师 logits;若大量样本的教师判断发生变化,说明节省的不是冗余 Token,而是任务信息。

最终目标不是把 max_length 压到最低,而是让每个 batch 尽量少携带无效 Padding,同时把确实决定标签的长上下文保留下来。显存预算应先由有效 Token 驱动,再由语义安全决定哪些长样本可以被截断。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

处理长序列带来的显存压力

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通