机器学习与深度学习 / 系统课时

损失函数的选择

损失函数的选择

损失函数决定模型“错了多少”以及梯度如何推动参数更新。本课从标签形式、输出层和损失函数三者的匹配关系出发,建立回归、二分类和多分类任务的选择规则,并用 PyTorch 验证常见组合。

学习目标

  • 根据任务类型和标签形式选择损失函数
  • 正确匹配输出层维度、激活函数与损失输入
  • 避免重复使用 Sigmoid 或 Softmax 等常见错误

先看任务与标签

选择损失函数时,先判断模型要预测什么,而不是先看网络结构。回归输出连续数值;二分类判断一个样本是否属于某类;多分类则从多个互斥类别中选择一个。

任务 标签示例 输出形状 常用损失
回归 3.7、-1.2 [batch, 1] 或与目标一致 MSELoss、L1Loss
二分类 0 或 1 [batch, 1] BCEWithLogitsLoss
多分类 类别编号 0...C-1 [batch, C] CrossEntropyLoss

根据任务选择输出层与损失函数

三类任务的标准组合

回归通常直接输出实数。均方误差衡量预测值与目标值的平方差:

LMSE=1N∑i=1N(y^i−yi)2L_{MSE}=\frac{1}{N}\sum_{i=1}^{N}(\hat{y}_i-y_i)^2

MSELoss 对较大误差惩罚更强,适合误差近似对称且异常值不多的场景。L1Loss 使用绝对误差,对异常值更稳健,但在零点附近的梯度不如均方误差平滑。

二分类推荐让模型输出一个未经 Sigmoid 的 logit,再交给 BCEWithLogitsLoss。该损失把 Sigmoid 与二元交叉熵合并计算,数值稳定性优于先调用 sigmoid() 再使用 BCELoss。

多分类任务让模型输出 CC 个 logits,标签使用类别编号。CrossEntropyLoss 内部已经包含 LogSoftmax 与负对数似然,因此训练前不要手动调用 softmax()。

用 PyTorch 验证三种损失

下面的程序分别计算回归、二分类和三分类损失。示例使用固定张量,因此输出可重复。

python
import torch
from torch import nn

# 回归:预测值和目标值形状一致
reg_pred = torch.tensor([2.5, 0.0])
reg_target = torch.tensor([3.0, -1.0])
reg_loss = nn.MSELoss()(reg_pred, reg_target)

# 二分类:直接传入 logits,不先做 Sigmoid
binary_logits = torch.tensor([0.0, 2.0])
binary_target = torch.tensor([0.0, 1.0])
binary_loss = nn.BCEWithLogitsLoss()(binary_logits, binary_target)

# 多分类:每行是各类别 logits,标签是类别编号
class_logits = torch.tensor([[2.0, 1.0, 0.0], [0.0, 1.0, 2.0]])
class_target = torch.tensor([0, 2])
class_loss = nn.CrossEntropyLoss()(class_logits, class_target)

print(f"regression: {reg_loss.item():.4f}")
print(f"binary: {binary_loss.item():.4f}")
print(f"multiclass: {class_loss.item():.4f}")

预期输出:

text
regression: 0.6250
binary: 0.4100
multiclass: 0.4076

这些数值只用于确认接口与输入形式正确。真实训练中,损失大小还会受到数据尺度、类别数量、样本难度和归约方式影响,不能跨任务直接比较。

关键边界与常见错误

使用 BCEWithLogitsLoss 时,目标通常应为浮点数,并与 logits 形状一致。使用 CrossEntropyLoss 时,目标应为 torch.long 类型的一维类别编号,而不是默认的独热向量。

最常见的错误是重复激活:模型末尾先做 Sigmoid,再传给 BCEWithLogitsLoss;或者先做 Softmax,再传给 CrossEntropyLoss。这样会改变梯度并降低数值稳定性。

类别极不平衡时,二分类可使用 pos_weight 提高正类权重,多分类可使用 weight 调整各类别贡献。加权前应先检查数据分布,避免仅凭损失值猜测问题。

选择时的最小检查清单

  • 标签是连续值、二元标记,还是互斥类别编号
  • 模型输出维度是否与损失函数预期一致
  • 损失函数是否已经内置 Sigmoid 或 Softmax 相关计算
  • 标签的数据类型与形状是否正确
  • 类别不平衡是否需要权重,而不是直接更换任务定义

本课总结

  • 回归、二分类和多分类必须分别匹配输出形状与损失函数
  • BCEWithLogitsLoss 和 CrossEntropyLoss 都应直接接收 logits
  • 选择损失后仍要检查标签类型、形状和类别分布

下一课预告

下一课将构建一个只有少量参数的小型网络,手工计算前向结果和局部梯度,再与 PyTorch 自动微分得到的梯度逐项对照。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

损失函数的选择

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通