机器学习与深度学习 / 系统课时

统计损失与准确率

统计损失与准确率

训练日志里的 epoch loss 和 accuracy 只有在累计口径正确时才可信。最常见的错误是直接平均各 batch 的平均损失,导致最后一个小批次被赋予过高权重。本篇用两个不同大小的批次给出可运行计算,并说明训练和验证应共用的统计规则。

学习目标

  • 能按样本数累计 CrossEntropyLoss 的 epoch 平均损失。
  • 能用“正确样本数 / 总样本数”计算分类准确率。
  • 能识别 batch 大小不一致、reduction 不同带来的统计偏差。

先固定分子和分母

当 nn.CrossEntropyLoss() 使用默认 reduction="mean" 时,loss.item() 是当前 batch 的样本平均损失。因此整个 epoch 不能直接对 batch loss 再做等权平均,而应先乘回该 batch 的样本数。

指标 累计分子 分母
epoch loss batch_loss * batch_size 的总和 总样本数
accuracy 预测正确的样本数总和 总样本数

分类任务中,预测类别通常用 logits.argmax(dim=1) 得到。若标签张量形状是 [batch],批大小可直接取 target.size(0)。

用两个不同大小的批次计算

下面的例子有 5 个样本,分成大小为 2 和 3 的两个 batch。第二个 batch 中有 1 个样本预测错误,因此总准确率应为 4/5。

python
import torch
from torch import nn

loss_fn = nn.CrossEntropyLoss()

batches = [
    (
        torch.tensor([[2.0, 0.0], [0.0, 2.0]]),
        torch.tensor([0, 1]),
    ),
    (
        torch.tensor([[1.0, 3.0], [4.0, 1.0], [0.2, 0.1]]),
        torch.tensor([1, 0, 1]),
    ),
]

loss_sum = 0.0
correct = 0
total = 0
batch_loss_sum = 0.0

for logits, target in batches:
    loss = loss_fn(logits, target)
    batch_size = target.size(0)

    # 默认 reduction="mean",先乘回样本数再累计。
    loss_sum += loss.item() * batch_size
    correct += (logits.argmax(dim=1) == target).sum().item()
    total += batch_size
    batch_loss_sum += loss.item()

epoch_loss = loss_sum / total
accuracy = correct / total
naive_batch_mean = batch_loss_sum / len(batches)

print(f"loss={epoch_loss:.6f}")
print(f"accuracy={accuracy:.4f}")
print(f"naive_batch_mean={naive_batch_mean:.6f}")

预期输出:

text
loss=0.234754
accuracy=0.8000
naive_batch_mean=0.216783

正确的 epoch loss 为 0.234754,而把两个 batch loss 等权平均得到 0.216783。两者不同的唯一原因就是 batch 大小分别为 2 和 3。

训练与验证使用同一套累计规则

训练阶段可以在 loss.backward() 和 optimizer.step() 前后统计指标,但累计时应使用标量值,例如 loss.item(),不要把带计算图的 loss 张量长期存进 Python 列表,否则会无意中保留整张计算图。

一个 epoch 的顺序可以固定为:

  1. 训练阶段先执行 model.train();每个 batch 完成前向、loss、反向和参数更新,同时累计 loss.item() * batch_size、正确数和样本数。
  2. 验证阶段执行 model.eval(),并在 torch.inference_mode() 中前向;使用完全相同的累计公式,但不执行 backward() 和 optimizer.step()。
  3. epoch 结束后再计算 loss_sum / total 与 correct / total,并把这两个最终标量写入日志。

这样训练和验证的指标口径一致,曲线可以直接比较;不要在训练集用“batch 平均”,在验证集又改成“样本平均”。

reduction 和任务形状决定分母

如果损失函数改成 reduction="sum",loss.item() 已经是 batch 内总损失,此时直接累计即可,不要再乘 batch_size。如果使用 reduction="none",则应先明确要按样本、token 还是像素平均,再选择对应的有效元素数作为分母。

例如序列分类每个样本只有一个标签,分母通常是样本数;语言模型若忽略 padding token,则更合理的分母是未被忽略的 token 数;语义分割若按像素统计准确率,分母应是参与评估的像素数。统计前先写清楚“一个计数单位是什么”,能避免同名指标在不同代码路径里含义不一致。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

统计损失与准确率

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通