大模型原理与训练 / 系统课时

用 DataCollator 动态组批

用 DataCollator 动态组批

这节把已完成 tokenizer 编码的样本交给 DataCollator,在每个 batch 内按最长样本动态填充,而不是预先把全量数据补到统一长度。这样既能减少无效 token 计算,也能把 label 等字段整理成训练器期望的批张量。

学习目标

  • 理解动态填充为什么应在组 batch 时执行
  • 使用 DataCollatorWithPadding 生成可直接训练的张量
  • 根据分类、语言模型和 Seq2Seq 任务选择合适的 collator

动态填充发生在哪里

tokenizer 可以先只做截断而不做填充,让每条样本保留自己的长度。真正组 batch 时,collator 查看这一批样本中的最大长度,再只把本批较短样本补齐。下一个 batch 会重新计算自己的最大长度,因此不会被整个数据集中的极长样本拖累。

DataCollator 批内动态填充

用 DataCollatorWithPadding 组一个分类 batch

下面示例先让 tokenizer 返回不同长度的特征,再把它们交给 DataCollatorWithPadding。示例中的模型文件首次运行时会从 Hugging Face Hub 下载;如果环境已经缓存,则直接使用本地缓存。

python
from transformers import AutoTokenizer, DataCollatorWithPadding

tokenizer = AutoTokenizer.from_pretrained("distilbert-base-uncased")
collator = DataCollatorWithPadding(
    tokenizer=tokenizer,
    return_tensors="pt",
)

texts = [
    "Short example.",
    "This sentence is a little longer.",
    "Dynamic padding only pads to the longest item in this batch.",
]
labels = [0, 1, 1]

features = []
for text, label in zip(texts, labels):
    encoded = tokenizer(text, truncation=True, padding=False)
    encoded["label"] = label
    features.append(encoded)

max_length_before_padding = max(len(item["input_ids"]) for item in features)
batch = collator(features)

print("batch size:", batch["input_ids"].shape[0])
print(
    "padded to batch max:",
    batch["input_ids"].shape[1] == max_length_before_padding,
)
print("has labels:", "labels" in batch)
print("labels:", batch["labels"].tolist())

预期输出

text
batch size: 3
padded to batch max: True
has labels: True
labels: [0, 1, 1]

DataCollatorWithPadding 会调用 tokenizer 的填充逻辑,并把常见的单样本 label 字段整理成批级 labels。实际 input_ids 的第二维取决于当前 batch 最长序列,所以不应把固定长度写死在训练代码里。

padding 参数怎么选

默认动态填充只补到本批最长样本。若使用支持 Tensor Core 的 GPU,可按模型与硬件需求考虑 pad_to_multiple_of=8,让序列长度向指定倍数对齐;这可能提升某些场景的吞吐,但也会增加少量 PAD。

如果你在预处理阶段已经使用 padding="max_length",collator 仍能组批,但“动态填充节省计算”的优势基本消失。通常更稳妥的组合是 tokenizer 阶段设置 truncation=True、不填充,DataLoader 或 Trainer 组批时再交给 collator。

不同任务不要混用 collator

序列分类通常使用 DataCollatorWithPadding 即可;掩码语言模型需要 DataCollatorForLanguageModeling 在组批时构造掩码与训练标签;Seq2Seq 任务常用 DataCollatorForSeq2Seq,它会分别处理输入与目标序列的填充,并通常用 -100 填充目标侧 labels,让损失函数忽略这些位置。

选择 collator 的原则很简单:先由 tokenizer 生成单样本特征,再由与任务匹配的 collator 负责批级填充和训练字段整理。这样预处理数据保持紧凑,批处理逻辑也能随任务独立调整。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用 DataCollator 动态组批

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通