机器学习与深度学习 / 系统课时
统计损失与准确率
统计损失与准确率
训练日志里的 epoch loss 和 accuracy 只有在累计口径正确时才可信。最常见的错误是直接平均各 batch 的平均损失,导致最后一个小批次被赋予过高权重。本篇用两个不同大小的批次给出可运行计算,并说明训练和验证应共用的统计规则。
学习目标
- 能按样本数累计
CrossEntropyLoss的 epoch 平均损失。 - 能用“正确样本数 / 总样本数”计算分类准确率。
- 能识别 batch 大小不一致、
reduction不同带来的统计偏差。
先固定分子和分母
当 nn.CrossEntropyLoss() 使用默认 reduction="mean" 时,loss.item() 是当前 batch 的样本平均损失。因此整个 epoch 不能直接对 batch loss 再做等权平均,而应先乘回该 batch 的样本数。
| 指标 | 累计分子 | 分母 |
|---|---|---|
| epoch loss | batch_loss * batch_size 的总和 |
总样本数 |
| accuracy | 预测正确的样本数总和 | 总样本数 |
分类任务中,预测类别通常用 logits.argmax(dim=1) 得到。若标签张量形状是 [batch],批大小可直接取 target.size(0)。
用两个不同大小的批次计算
下面的例子有 5 个样本,分成大小为 2 和 3 的两个 batch。第二个 batch 中有 1 个样本预测错误,因此总准确率应为 4/5。
import torch
from torch import nn
loss_fn = nn.CrossEntropyLoss()
batches = [
(
torch.tensor([[2.0, 0.0], [0.0, 2.0]]),
torch.tensor([0, 1]),
),
(
torch.tensor([[1.0, 3.0], [4.0, 1.0], [0.2, 0.1]]),
torch.tensor([1, 0, 1]),
),
]
loss_sum = 0.0
correct = 0
total = 0
batch_loss_sum = 0.0
for logits, target in batches:
loss = loss_fn(logits, target)
batch_size = target.size(0)
# 默认 reduction="mean",先乘回样本数再累计。
loss_sum += loss.item() * batch_size
correct += (logits.argmax(dim=1) == target).sum().item()
total += batch_size
batch_loss_sum += loss.item()
epoch_loss = loss_sum / total
accuracy = correct / total
naive_batch_mean = batch_loss_sum / len(batches)
print(f"loss={epoch_loss:.6f}")
print(f"accuracy={accuracy:.4f}")
print(f"naive_batch_mean={naive_batch_mean:.6f}")预期输出:
loss=0.234754
accuracy=0.8000
naive_batch_mean=0.216783正确的 epoch loss 为 0.234754,而把两个 batch loss 等权平均得到 0.216783。两者不同的唯一原因就是 batch 大小分别为 2 和 3。
训练与验证使用同一套累计规则
训练阶段可以在 loss.backward() 和 optimizer.step() 前后统计指标,但累计时应使用标量值,例如 loss.item(),不要把带计算图的 loss 张量长期存进 Python 列表,否则会无意中保留整张计算图。
一个 epoch 的顺序可以固定为:
- 训练阶段先执行
model.train();每个 batch 完成前向、loss、反向和参数更新,同时累计loss.item() * batch_size、正确数和样本数。 - 验证阶段执行
model.eval(),并在torch.inference_mode()中前向;使用完全相同的累计公式,但不执行backward()和optimizer.step()。 - epoch 结束后再计算
loss_sum / total与correct / total,并把这两个最终标量写入日志。
这样训练和验证的指标口径一致,曲线可以直接比较;不要在训练集用“batch 平均”,在验证集又改成“样本平均”。
reduction 和任务形状决定分母
如果损失函数改成 reduction="sum",loss.item() 已经是 batch 内总损失,此时直接累计即可,不要再乘 batch_size。如果使用 reduction="none",则应先明确要按样本、token 还是像素平均,再选择对应的有效元素数作为分母。
例如序列分类每个样本只有一个标签,分母通常是样本数;语言模型若忽略 padding token,则更合理的分母是未被忽略的 token 数;语义分割若按像素统计准确率,分母应是参与评估的像素数。统计前先写清楚“一个计数单位是什么”,能避免同名指标在不同代码路径里含义不一致。