大模型原理与训练 / 系统课时

Trainer 训练流程

Trainer 训练流程

本课搭建一条完整的 Trainer 训练链路:准备训练集与验证集,配置批次整理和评估指标,统一管理训练、验证、检查点保存与最佳模型加载。

学习目标

  • 理解 Trainer 在训练流程中管理的核心对象
  • 能配置训练、评估和保存策略
  • 能读取评估结果并确认最佳检查点已生效

Trainer 管理的对象

Trainer 不是模型算法,而是训练流程协调器。它接收模型、训练参数、数据集、数据整理器和指标函数,在内部完成批次迭代、梯度更新、周期评估、日志记录与检查点保存。模型仍负责前向计算和损失,Trainer 负责何时调用这些能力。

Trainer 训练流程

数据整理器决定如何把多条样本拼成一个批次。对于因果语言模型,DataCollatorForLanguageModeling 在 mlm=False 时会动态补齐,并把输入复制为标签,同时忽略补齐位置。指标函数则在验证阶段接收预测与标签,返回可记录的数值。

配置训练与保存策略

训练参数中最容易出错的是评估与保存节奏。启用 load_best_model_at_end=True 时,评估策略和保存策略应保持一致,例如都按 epoch 执行;否则 Trainer 无法可靠比较并恢复最佳检查点。

参数 本例作用 关键边界
per_device_train_batch_size 设置单设备训练批次 显存不足时先减小
eval_strategy 决定何时运行验证 应与保存策略对齐
save_strategy 决定何时写检查点 频率过高会占用磁盘
metric_for_best_model 指定最佳模型依据 使用损失时应越小越好
save_total_limit 限制检查点数量 防止长期训练填满磁盘

学习率、批次大小和训练轮数决定优化强度;评估与保存参数决定过程是否可观察、结果是否可恢复。二者职责不同,不能只配置训练参数而忽略验证链路。

构建可评估训练流程

下面示例继续使用小型因果语言模型。它把六条文本划分为训练集和验证集,使用动态补齐整理批次,并计算忽略补齐位置后的下一词元准确率。该指标只用于演示指标接入,真实生成任务还应结合验证损失和人工质量评估。

python
import numpy as np
from datasets import Dataset
from transformers import (
    AutoModelForCausalLM,
    AutoTokenizer,
    DataCollatorForLanguageModeling,
    Trainer,
    TrainingArguments,
)
from transformers.trainer_callback import PrinterCallback

MODEL_NAME = "sshleifer/tiny-gpt2"

texts = [
    "模型通过数据学习参数。",
    "注意力机制建立词元之间的联系。",
    "训练集用于更新模型参数。",
    "验证集用于观察泛化表现。",
    "检查点保存模型与训练状态。",
    "最佳模型应依据验证指标选择。",
]

raw_dataset = Dataset.from_dict({"text": texts})
tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
if tokenizer.pad_token is None:
    tokenizer.pad_token = tokenizer.eos_token

def tokenize(batch: dict) -> dict:
    # 不在此处补齐,由数据整理器按当前批次动态处理。
    return tokenizer(
        batch["text"],
        truncation=True,
        max_length=64,
    )

tokenized = raw_dataset.map(
    tokenize,
    batched=True,
    remove_columns=["text"],
)
train_dataset = tokenized.select(range(4))
eval_dataset = tokenized.select(range(4, 6))

model = AutoModelForCausalLM.from_pretrained(MODEL_NAME)
model.config.pad_token_id = tokenizer.pad_token_id
data_collator = DataCollatorForLanguageModeling(
    tokenizer=tokenizer,
    mlm=False,
)

def preprocess_logits_for_metrics(logits, labels):
    # 先转为词元编号,避免评估阶段长期保留完整词表 logits。
    if isinstance(logits, tuple):
        logits = logits[0]
    return logits.argmax(dim=-1)

def compute_metrics(eval_pred) -> dict:
    predictions, labels = eval_pred
    predictions = predictions[:, :-1]
    labels = labels[:, 1:]
    valid = labels != -100

    accuracy = 0.0
    if np.any(valid):
        accuracy = float((predictions[valid] == labels[valid]).mean())
    return {"token_accuracy": accuracy}

training_args = TrainingArguments(
    output_dir="./trainer-output",
    per_device_train_batch_size=2,
    per_device_eval_batch_size=2,
    num_train_epochs=1,
    learning_rate=5e-5,
    eval_strategy="epoch",
    save_strategy="epoch",
    load_best_model_at_end=True,
    metric_for_best_model="eval_loss",
    greater_is_better=False,
    save_total_limit=1,
    logging_strategy="no",
    report_to="none",
    disable_tqdm=True,
    seed=42,
)

trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=train_dataset,
    eval_dataset=eval_dataset,
    data_collator=data_collator,
    processing_class=tokenizer,
    compute_metrics=compute_metrics,
    preprocess_logits_for_metrics=preprocess_logits_for_metrics,
)
trainer.remove_callback(PrinterCallback)

train_result = trainer.train()
metrics = trainer.evaluate()

print("训练步数有效:", train_result.global_step > 0)
print("包含验证损失:", "eval_loss" in metrics)
print("包含词元准确率:", "eval_token_accuracy" in metrics)
print(
    "最佳检查点存在:",
    trainer.state.best_model_checkpoint is not None,
)

预期输出

text
训练步数有效: True
包含验证损失: True
包含词元准确率: True
最佳检查点存在: True

训练结束后,metrics 中的具体损失和准确率会随设备、依赖版本与浮点计算而变化,因此示例只验证关键字段是否存在。输出目录中会保留一个检查点;实际目录名包含动态步数,可通过 trainer.state.best_model_checkpoint 获取,不应在业务代码中写死。

读取结果并判断训练是否正常

首先观察 eval_loss 是否为有限数值,再比较多个评估周期的变化趋势。单次损失下降不能证明生成质量提升,但损失为 nan、持续剧烈上升或长时间不变,通常意味着数据、学习率、标签或数值精度存在问题。

eval_token_accuracy 只统计验证集中未被屏蔽的位置。自然语言生成存在多个合理答案,因此准确率偏低并不一定表示模型不可用。项目验收还应固定一组提示词,对训练前后输出做一致条件下的对比,并保留人工检查记录。

常见配置错误

  • 只传训练集却配置评估策略,导致评估阶段缺少 eval_dataset
  • 开启最佳模型加载,但评估和保存策略不一致
  • 自定义指标未忽略 -100,把补齐位置错误计入结果
  • 保存频率过高且没有设置数量上限,导致输出目录持续增长

出现异常时,应按“数据字段、整理器输出、模型损失、评估指标、检查点状态”的顺序定位。先检查一个批次是否正确,再扩大到完整训练,通常比直接修改学习率更有效。

本课总结

  • Trainer 统一协调模型、参数、数据、整理器和评估函数
  • 评估策略与保存策略应对齐,才能可靠恢复最佳检查点
  • 训练验收既要检查损失和指标,也要确认检查点与推理效果

下一课预告

下一课将围绕训练产物的保存、重新加载和推理验证,建立从训练脚本到可复用模型目录的完整交付流程。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

Trainer 训练流程

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通