机器学习与深度学习 / 系统课时
选择损失函数
选择损失函数
损失函数把模型预测与真实答案的差异压缩成一个可优化的标量。本课将按回归、二分类和多分类三类任务,确定损失函数、模型最后一层输出以及标签格式,避免“函数选对了但输入形式不匹配”的常见问题。
学习目标
- 根据任务类型选择常用损失函数
- 匹配模型输出维度、激活方式与标签格式
- 识别重复使用 Sigmoid、Softmax 等典型错误
从任务类型开始选择
选择损失函数时,先判断模型要预测连续数值、两个类别,还是多个互斥类别。任务类型决定输出张量的形状,也决定标签应使用浮点数还是类别索引。
| 任务 | 推荐损失函数 | 模型原始输出 | 标签形式 |
|---|---|---|---|
| 回归 | nn.MSELoss、nn.L1Loss、nn.SmoothL1Loss |
与目标形状一致的连续值 | 浮点张量 |
| 二分类 | nn.BCEWithLogitsLoss |
每个样本一个 logit | 取值为 0 或 1 的浮点张量 |
| 多分类 | nn.CrossEntropyLoss |
每个样本输出 C 个 logits |
取值为 0 到 C-1 的整数索引 |

三类任务的主示例
下面使用固定张量分别计算三种损失。示例直接传入模型原始输出,不先调用 sigmoid 或 softmax。
import torch
from torch import nn
# 回归:预测值和目标值都是浮点数,形状保持一致
reg_pred = torch.tensor([[2.5], [0.0]])
reg_target = torch.tensor([[3.0], [1.0]])
reg_loss = nn.MSELoss()(reg_pred, reg_target)
# 二分类:输入一个 logit,标签使用浮点数 0/1
binary_logits = torch.tensor([1.2, -0.7])
binary_target = torch.tensor([1.0, 0.0])
binary_loss = nn.BCEWithLogitsLoss()(binary_logits, binary_target)
# 三分类:每行有三个 logits,标签是类别索引
class_logits = torch.tensor([[2.0, 0.5, -1.0], [0.1, 1.4, 0.2]])
class_target = torch.tensor([0, 1], dtype=torch.long)
class_loss = nn.CrossEntropyLoss()(class_logits, class_target)
print(f"MSE: {reg_loss.item():.4f}")
print(f"BCE: {binary_loss.item():.4f}")
print(f"CE: {class_loss.item():.4f}")预期输出:
MSE: 0.6250
BCE: 0.3332
CE: 0.3474三个结果都是标量,可以直接参与反向传播。它们的数值不能横向比较任务难度,因为不同损失函数的计算方式和尺度并不相同。
输出与标签必须匹配
BCEWithLogitsLoss 已在内部组合 Sigmoid 和二元交叉熵,数值稳定性优于手动执行 sigmoid 后再调用 BCELoss。因此训练时应传入原始 logit;推理阶段需要概率时,再执行 torch.sigmoid。
CrossEntropyLoss 内部组合 LogSoftmax 和负对数似然,同样要求输入原始 logits。它的标签通常是一维 torch.long 张量,每个值表示正确类别,而不是 one-hot 向量。
回归任务要特别检查预测值与标签的形状。形状不一致时,PyTorch 可能触发广播并继续计算,程序虽然不报错,损失含义却已经改变。
常见选择边界
离群点较多的回归任务中,L1Loss 对极端误差不如均方误差敏感;SmoothL1Loss 则在小误差区间保持平滑,常用于目标检测中的边界框回归。
多标签分类与普通多分类不同。一个样本可以同时属于多个类别时,应为每个类别输出一个独立 logit,并使用 BCEWithLogitsLoss,而不是 CrossEntropyLoss。
类别严重不平衡时,可以使用 BCEWithLogitsLoss 的 pos_weight 或 CrossEntropyLoss 的 weight 调整不同类别的损失贡献,但权重应根据训练集分布计算并在验证集上确认效果。