机器学习与深度学习 / 系统课时
理解损失函数
理解损失函数
损失函数把模型预测与真实目标之间的差异压缩成一个可优化的标量。选对损失函数,才能让梯度代表正确的训练方向;选错或重复做激活处理,会让模型难以收敛。
学习目标
- 区分回归与分类任务常用损失函数的输入和目标格式。
- 用具体数值理解 MSE 与交叉熵的优化含义。
- 避免
CrossEntropyLoss前重复softmax等常见错误。
损失函数把误差变成优化目标
回归任务常用均方误差 MSE。对 个样本,它计算预测与目标差值平方的平均值:
例如预测 [2.5, 0.0, 2.0]、目标 [3.0, -0.5, 2.0],三个平方误差分别为 0.25、0.25、0,平均损失为 0.1667。误差越大,平方项增长越快,因此 MSE 对较大的偏差更敏感。
多分类通常使用交叉熵。若真实类别是 ,核心目标可以写为 :模型给真实类别的概率越高,损失越小。PyTorch 的 nn.CrossEntropyLoss 直接接收未归一化 logits,并在内部完成 log_softmax 与负对数似然计算。
在 PyTorch 中计算两类常见损失
下面分别计算一个回归批次的 MSE,以及一个三分类样本的交叉熵。分类目标使用类别索引 0,而不是 one-hot 向量。
import torch
from torch import nn
# 回归:预测值与目标形状一致。
pred = torch.tensor([2.5, 0.0, 2.0])
target = torch.tensor([3.0, -0.5, 2.0])
mse = nn.MSELoss()(pred, target)
# 分类:logits 形状为 [batch, classes],target 为类别索引。
logits = torch.tensor([[2.0, 0.5, -1.0]])
label = torch.tensor([0])
ce = nn.CrossEntropyLoss()(logits, label)
print(f"MSE: {mse.item():.4f}")
print(f"CrossEntropy: {ce.item():.4f}")预期输出
MSE: 0.1667
CrossEntropy: 0.2413损失值本身没有跨任务统一的“合格线”。MSE 的尺度受目标值量纲影响,交叉熵也受类别数和预测置信度影响,因此更适合观察同一任务、同一数据处理方式下的下降趋势。
回归与分类的输入约定
| 任务 | 常用损失 | 模型输出 | 目标 |
|---|---|---|---|
| 连续值回归 | nn.MSELoss |
与目标同形状的浮点数 | 浮点数 |
| 单标签多分类 | nn.CrossEntropyLoss |
[N, C] logits |
[N] 的 torch.long 类别索引 |
| 二分类或多标签分类 | nn.BCEWithLogitsLoss |
logits | 0/1 浮点目标 |
BCEWithLogitsLoss 已把 sigmoid 与二元交叉熵组合在一起,数值上比“先 sigmoid 再 BCELoss”更稳定。单标签多分类的 CrossEntropyLoss 也不需要先做 softmax。
损失值如何驱动参数更新
训练时通常执行 loss.backward(),PyTorch 会从这个标量损失沿计算图反向计算各参数的梯度;随后 optimizer.step() 才真正修改权重。因此“前向传播得到预测、损失函数得到标量、反向传播得到梯度、优化器更新参数”是四个不同动作。
判断训练是否正常时,可以连续记录若干 epoch 的训练损失。例如从 1.20 -> 0.82 -> 0.61 -> 0.55 通常说明当前训练集目标在改善;若长期为 nan,应优先检查学习率、输入是否含非法值以及损失函数的输入格式,而不是单纯增加训练轮数。
两个容易踩到的边界
使用 nn.CrossEntropyLoss 时,错误做法是先执行 torch.softmax(logits, dim=1) 再传入损失函数;正确做法是直接传 logits。这样既符合接口定义,也避免重复归一化带来的数值问题。
回归中若目标值跨越多个数量级,例如价格同时包含 10 与 100000,MSE 可能主要被大数值样本主导。此时应先检查目标缩放,或根据业务误差特性考虑 nn.L1Loss、nn.SmoothL1Loss,而不是只凭某一次损失值大小判断模型好坏。