大模型原理与训练 / 系统课时

接入自定义指标与回调

接入自定义指标与回调

训练 loss 只能说明优化目标是否下降,不能替代任务指标,也不能告诉你何时应该记录、告警或停止训练。本节把 compute_metrics 与 TrainerCallback 接到同一条评估链路中,并用一个可重复的早停实验验证回调如何影响训练控制。

学习目标

  • 用 compute_metrics 把模型输出转换为任务指标
  • 在 TrainerCallback 的评估事件中读取指标与训练状态
  • 配置早停所需的评估、保存和最佳指标条件

指标与回调处在不同位置

compute_metrics 负责“算出什么”:评估完成后,它接收预测结果和标签,返回如 accuracy、f1 等字典。回调负责“指标出现后做什么”:例如打印日志、写入外部系统,或修改训练控制状态。

自定义指标与回调评估链路

这两者不要混在一起:指标函数应尽量保持纯计算,避免写文件或修改训练状态;副作用和流程控制放进回调,更容易测试,也更容易在不同训练任务中复用。

同时接入 accuracy、日志与早停

下面仍使用小型随机模型和合成数据。为了让早停现象稳定复现,示例故意把学习率设为 0.0,使评估指标保持不变;真实微调时应换回正常学习率。

python
import shutil
from pathlib import Path

import torch
from torch.utils.data import Dataset
from transformers import (
    BertConfig,
    BertForSequenceClassification,
    EarlyStoppingCallback,
    PrinterCallback,
    Trainer,
    TrainerCallback,
    TrainingArguments,
)

class TinyDataset(Dataset):
    def __init__(self, size: int):
        self.input_ids = torch.randint(0, 100, (size, 8))
        self.attention_mask = torch.ones_like(self.input_ids)
        self.labels = (self.input_ids[:, 0] % 2).long()

    def __len__(self):
        return len(self.labels)

    def __getitem__(self, index):
        return {
            "input_ids": self.input_ids[index],
            "attention_mask": self.attention_mask[index],
            "labels": self.labels[index],
        }

def compute_metrics(eval_pred):
    predictions = eval_pred.predictions.argmax(axis=-1)
    labels = eval_pred.label_ids
    accuracy = (predictions == labels).mean()
    return {"accuracy": float(accuracy)}

class AccuracyTraceCallback(TrainerCallback):
    def on_evaluate(self, args, state, control, metrics=None, **kwargs):
        if metrics and "eval_accuracy" in metrics:
            value = metrics["eval_accuracy"]
            print(f"[metric] step={state.global_step} accuracy={value:.3f}")
        return control

torch.manual_seed(42)
output_dir = Path("./callback-demo")
shutil.rmtree(output_dir, ignore_errors=True)

model = BertForSequenceClassification(
    BertConfig(
        vocab_size=100,
        hidden_size=32,
        num_hidden_layers=1,
        num_attention_heads=4,
        intermediate_size=64,
        num_labels=2,
    )
)

args = TrainingArguments(
    output_dir=str(output_dir),
    num_train_epochs=5,
    per_device_train_batch_size=4,
    per_device_eval_batch_size=8,
    learning_rate=0.0,
    eval_strategy="epoch",
    save_strategy="epoch",
    load_best_model_at_end=True,
    metric_for_best_model="accuracy",
    greater_is_better=True,
    save_total_limit=2,
    logging_strategy="no",
    report_to="none",
    disable_tqdm=True,
)

trainer = Trainer(
    model=model,
    args=args,
    train_dataset=TinyDataset(16),
    eval_dataset=TinyDataset(8),
    compute_metrics=compute_metrics,
    callbacks=[
        AccuracyTraceCallback(),
        EarlyStoppingCallback(early_stopping_patience=1),
    ],
)
trainer.remove_callback(PrinterCallback)
trainer.train()

print("stopped_epoch:", int(trainer.state.epoch))
print("has_best_metric:", trainer.state.best_metric is not None)

预期输出

text
[metric] step=4 accuracy=<VALUE>
[metric] step=8 accuracy=<VALUE>
stopped_epoch: 2
has_best_metric: True

<VALUE> 取决于随机初始化后的固定预测,但两次评估值应相同。第一次评估建立最佳指标,第二次没有改善;early_stopping_patience=1 因而在第二个 epoch 后停止,而不是跑满配置的 5 个 epoch。

让指标名和最佳模型策略一致

compute_metrics 返回 {"accuracy": ...} 后,评估日志中的键会带上 eval_ 前缀,因此回调读取 eval_accuracy;而 metric_for_best_model 可以直接写 accuracy。对于越小越好的指标,例如错误率或某些 loss,应把 greater_is_better 设为 False。

使用早停时,评估必须实际发生;同时让 eval_strategy 与 save_strategy 保持相同节奏,才能让“当前评估结果、最佳检查点、最终加载的模型”对应起来。若按 step 评估,还应让保存点覆盖评估点,避免已经判断出更优指标却没有对应检查点。

回调适合做副作用,不适合重写训练数学

日志、告警、早停和定期检查属于事件响应,适合放进 TrainerCallback。如果需求是修改 loss、改变优化器更新方式或插入新的前向计算,应该覆写 Trainer 的相应方法,而不是在回调中偷偷改模型参数。

把指标计算保持为纯函数、把流程副作用集中到回调,再用 TrainingArguments 约束评估和保存节奏,训练过程就同时具备可比较的任务指标、可观察事件和明确的停止条件。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

接入自定义指标与回调

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通