机器学习与深度学习 / 系统课时
选择损失函数
选择损失函数
损失函数必须同时匹配任务类型、模型输出形状和标签格式。选错时不一定立刻报错,更常见的是训练目标被悄悄改掉。本课用回归、二分类和单标签多分类三个可运行例子建立一套可检查的选择规则。
学习目标
- 能根据任务类型选择
MSELoss、BCEWithLogitsLoss或CrossEntropyLoss。 - 能正确准备 logits、标签形状与标签 dtype。
- 能用
weight、pos_weight和reduction处理常见训练需求。
先按任务和张量形状选择
| 任务 | 模型输出 | 标签 | 推荐损失 |
|---|---|---|---|
| 回归 | [N,1] 或与目标同形状的浮点张量 |
同形状浮点值 | nn.MSELoss() |
| 二分类 | [N] 或 [N,1] 的原始 logits |
同形状、值为 0/1 的浮点张量 | nn.BCEWithLogitsLoss() |
| 单标签多分类 | [N,C] 的原始 logits |
[N]、类别索引为 0 到 C-1 的 torch.long |
nn.CrossEntropyLoss() |
BCEWithLogitsLoss 已把 sigmoid 与二元交叉熵组合在一起,CrossEntropyLoss 也直接接收未做 softmax 的 logits。训练时如果先手动做 sigmoid 或 softmax 再传入这两个损失,会改变数值计算路径,并可能降低数值稳定性。
用一个脚本验证三类任务
下面固定输入值,直接比较三种损失的调用方式。示例适用于 PyTorch 2.x 的公开 torch.nn API。
import torch
from torch import nn
# 回归:预测与目标都是浮点值,并保持相同形状。
reg_pred = torch.tensor([[2.5], [0.0], [4.0]])
reg_target = torch.tensor([[3.0], [-1.0], [5.0]])
reg_loss = nn.MSELoss()(reg_pred, reg_target)
# 二分类:BCEWithLogitsLoss 直接接收原始 logits。
bin_logits = torch.tensor([1.2, -0.4, 0.8, -1.5])
bin_target = torch.tensor([1.0, 0.0, 1.0, 0.0])
bin_loss = nn.BCEWithLogitsLoss()(bin_logits, bin_target)
# 多分类:标签保存类别索引,不做 one-hot。
multi_logits = torch.tensor([
[2.0, 0.5, -1.0],
[0.1, 1.2, 0.3],
])
multi_target = torch.tensor([0, 1], dtype=torch.long)
multi_loss = nn.CrossEntropyLoss()(multi_logits, multi_target)
print(f"mse={reg_loss.item():.6f}")
print(f"bce={bin_loss.item():.6f}")
print(f"cross_entropy={multi_loss.item():.6f}")预期输出
mse=0.750000
bce=0.337203
cross_entropy=0.397437这三个结果都由损失函数直接从原始预测计算得到。多分类示例中每一行有 3 个类别 logits,而标签只保存正确类别索引,不需要做 one-hot 编码。
先排除 shape 和 dtype 错误
二分类最常见的问题是 logits 为 [N,1],标签却是 [N];应把两者整理成同一形状。多分类则相反,CrossEntropyLoss 的类别标签通常应是 [N] 的整数索引,而不是 [N,C] 的 one-hot 张量。
| 常见错误 | 正确做法 |
|---|---|
二分类先 torch.sigmoid(logits) 再交给 BCEWithLogitsLoss |
直接传原始 logits |
多分类先 torch.softmax(logits, dim=1) 再交给 CrossEntropyLoss |
直接传 [N,C] logits |
CrossEntropyLoss 的标签使用浮点数 |
使用 torch.long 类别索引 |
回归预测 [N,1]、目标 [N] 依赖广播 |
显式整理为相同形状,避免非预期广播 |
遇到损失不下降时,先打印 logits.shape、target.shape、target.dtype 和标签取值范围。三项检查通常比立即调学习率更快发现问题。
处理类别不平衡和逐样本损失
二分类中若正样本明显更少,可给 BCEWithLogitsLoss 设置 pos_weight。例如正样本约占 25%、负样本约占 75% 时,可从 pos_weight=torch.tensor([3.0]) 作为起点,让正样本损失获得更高权重;实际权重仍应按训练集统计量确定。
单标签多分类可以使用 nn.CrossEntropyLoss(weight=torch.tensor([1.0, 2.5, 0.8])) 给三个类别不同权重。需要查看每个样本的损失时,将 reduction="none";默认 reduction="mean" 返回批次平均损失,"sum" 则返回损失总和。
选择损失函数时,先确认任务定义,再确认输出是否为原始 logits,最后核对标签 shape 与 dtype。只要这三步一致,后续的权重、归约方式和优化器调参才有明确意义。