机器学习与深度学习 / 系统课时

选择损失函数

选择损失函数

损失函数把模型预测与真实答案的差异压缩成一个可优化的标量。本课将按回归、二分类和多分类三类任务,确定损失函数、模型最后一层输出以及标签格式,避免“函数选对了但输入形式不匹配”的常见问题。

学习目标

  • 根据任务类型选择常用损失函数
  • 匹配模型输出维度、激活方式与标签格式
  • 识别重复使用 Sigmoid、Softmax 等典型错误

从任务类型开始选择

选择损失函数时,先判断模型要预测连续数值、两个类别,还是多个互斥类别。任务类型决定输出张量的形状,也决定标签应使用浮点数还是类别索引。

任务 推荐损失函数 模型原始输出 标签形式
回归 nn.MSELoss、nn.L1Loss、nn.SmoothL1Loss 与目标形状一致的连续值 浮点张量
二分类 nn.BCEWithLogitsLoss 每个样本一个 logit 取值为 0 或 1 的浮点张量
多分类 nn.CrossEntropyLoss 每个样本输出 C 个 logits 取值为 0 到 C-1 的整数索引

回归、二分类与多分类的损失函数匹配关系

三类任务的主示例

下面使用固定张量分别计算三种损失。示例直接传入模型原始输出,不先调用 sigmoid 或 softmax。

python
import torch
from torch import nn

# 回归:预测值和目标值都是浮点数,形状保持一致
reg_pred = torch.tensor([[2.5], [0.0]])
reg_target = torch.tensor([[3.0], [1.0]])
reg_loss = nn.MSELoss()(reg_pred, reg_target)

# 二分类:输入一个 logit,标签使用浮点数 0/1
binary_logits = torch.tensor([1.2, -0.7])
binary_target = torch.tensor([1.0, 0.0])
binary_loss = nn.BCEWithLogitsLoss()(binary_logits, binary_target)

# 三分类:每行有三个 logits,标签是类别索引
class_logits = torch.tensor([[2.0, 0.5, -1.0], [0.1, 1.4, 0.2]])
class_target = torch.tensor([0, 1], dtype=torch.long)
class_loss = nn.CrossEntropyLoss()(class_logits, class_target)

print(f"MSE: {reg_loss.item():.4f}")
print(f"BCE: {binary_loss.item():.4f}")
print(f"CE: {class_loss.item():.4f}")

预期输出:

text
MSE: 0.6250
BCE: 0.3332
CE: 0.3474

三个结果都是标量,可以直接参与反向传播。它们的数值不能横向比较任务难度,因为不同损失函数的计算方式和尺度并不相同。

输出与标签必须匹配

BCEWithLogitsLoss 已在内部组合 Sigmoid 和二元交叉熵,数值稳定性优于手动执行 sigmoid 后再调用 BCELoss。因此训练时应传入原始 logit;推理阶段需要概率时,再执行 torch.sigmoid。

CrossEntropyLoss 内部组合 LogSoftmax 和负对数似然,同样要求输入原始 logits。它的标签通常是一维 torch.long 张量,每个值表示正确类别,而不是 one-hot 向量。

回归任务要特别检查预测值与标签的形状。形状不一致时,PyTorch 可能触发广播并继续计算,程序虽然不报错,损失含义却已经改变。

常见选择边界

离群点较多的回归任务中,L1Loss 对极端误差不如均方误差敏感;SmoothL1Loss 则在小误差区间保持平滑,常用于目标检测中的边界框回归。

多标签分类与普通多分类不同。一个样本可以同时属于多个类别时,应为每个类别输出一个独立 logit,并使用 BCEWithLogitsLoss,而不是 CrossEntropyLoss。

类别严重不平衡时,可以使用 BCEWithLogitsLoss 的 pos_weight 或 CrossEntropyLoss 的 weight 调整不同类别的损失贡献,但权重应根据训练集分布计算并在验证集上确认效果。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

选择损失函数

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通