机器学习与深度学习 / 系统课时

选择损失函数

选择损失函数

损失函数必须同时匹配任务类型、模型输出形状和标签格式。选错时不一定立刻报错,更常见的是训练目标被悄悄改掉。本课用回归、二分类和单标签多分类三个可运行例子建立一套可检查的选择规则。

学习目标

  • 能根据任务类型选择 MSELoss、BCEWithLogitsLoss 或 CrossEntropyLoss。
  • 能正确准备 logits、标签形状与标签 dtype。
  • 能用 weight、pos_weight 和 reduction 处理常见训练需求。

先按任务和张量形状选择

任务 模型输出 标签 推荐损失
回归 [N,1] 或与目标同形状的浮点张量 同形状浮点值 nn.MSELoss()
二分类 [N] 或 [N,1] 的原始 logits 同形状、值为 0/1 的浮点张量 nn.BCEWithLogitsLoss()
单标签多分类 [N,C] 的原始 logits [N]、类别索引为 0 到 C-1 的 torch.long nn.CrossEntropyLoss()

BCEWithLogitsLoss 已把 sigmoid 与二元交叉熵组合在一起,CrossEntropyLoss 也直接接收未做 softmax 的 logits。训练时如果先手动做 sigmoid 或 softmax 再传入这两个损失,会改变数值计算路径,并可能降低数值稳定性。

用一个脚本验证三类任务

下面固定输入值,直接比较三种损失的调用方式。示例适用于 PyTorch 2.x 的公开 torch.nn API。

python
import torch
from torch import nn

# 回归:预测与目标都是浮点值,并保持相同形状。
reg_pred = torch.tensor([[2.5], [0.0], [4.0]])
reg_target = torch.tensor([[3.0], [-1.0], [5.0]])
reg_loss = nn.MSELoss()(reg_pred, reg_target)

# 二分类:BCEWithLogitsLoss 直接接收原始 logits。
bin_logits = torch.tensor([1.2, -0.4, 0.8, -1.5])
bin_target = torch.tensor([1.0, 0.0, 1.0, 0.0])
bin_loss = nn.BCEWithLogitsLoss()(bin_logits, bin_target)

# 多分类:标签保存类别索引,不做 one-hot。
multi_logits = torch.tensor([
    [2.0, 0.5, -1.0],
    [0.1, 1.2, 0.3],
])
multi_target = torch.tensor([0, 1], dtype=torch.long)
multi_loss = nn.CrossEntropyLoss()(multi_logits, multi_target)

print(f"mse={reg_loss.item():.6f}")
print(f"bce={bin_loss.item():.6f}")
print(f"cross_entropy={multi_loss.item():.6f}")

预期输出

text
mse=0.750000
bce=0.337203
cross_entropy=0.397437

这三个结果都由损失函数直接从原始预测计算得到。多分类示例中每一行有 3 个类别 logits,而标签只保存正确类别索引,不需要做 one-hot 编码。

先排除 shape 和 dtype 错误

二分类最常见的问题是 logits 为 [N,1],标签却是 [N];应把两者整理成同一形状。多分类则相反,CrossEntropyLoss 的类别标签通常应是 [N] 的整数索引,而不是 [N,C] 的 one-hot 张量。

常见错误 正确做法
二分类先 torch.sigmoid(logits) 再交给 BCEWithLogitsLoss 直接传原始 logits
多分类先 torch.softmax(logits, dim=1) 再交给 CrossEntropyLoss 直接传 [N,C] logits
CrossEntropyLoss 的标签使用浮点数 使用 torch.long 类别索引
回归预测 [N,1]、目标 [N] 依赖广播 显式整理为相同形状,避免非预期广播

遇到损失不下降时,先打印 logits.shape、target.shape、target.dtype 和标签取值范围。三项检查通常比立即调学习率更快发现问题。

处理类别不平衡和逐样本损失

二分类中若正样本明显更少,可给 BCEWithLogitsLoss 设置 pos_weight。例如正样本约占 25%、负样本约占 75% 时,可从 pos_weight=torch.tensor([3.0]) 作为起点,让正样本损失获得更高权重;实际权重仍应按训练集统计量确定。

单标签多分类可以使用 nn.CrossEntropyLoss(weight=torch.tensor([1.0, 2.5, 0.8])) 给三个类别不同权重。需要查看每个样本的损失时,将 reduction="none";默认 reduction="mean" 返回批次平均损失,"sum" 则返回损失总和。

选择损失函数时,先确认任务定义,再确认输出是否为原始 logits,最后核对标签 shape 与 dtype。只要这三步一致,后续的权重、归约方式和优化器调参才有明确意义。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

选择损失函数

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通