机器学习与深度学习 / 系统课时

损失函数

损失函数

损失函数把预测结果与真实答案之间的差异压缩为一个数值,训练过程据此判断参数应向哪个方向调整。本课将认识均方误差与交叉熵,并理解为什么损失越小通常代表预测越接近目标。

学习目标

  • 说明损失函数在训练中的作用
  • 区分回归与分类任务的常用损失
  • 根据预测结果计算并解释损失大小

损失是训练的评分标准

模型先根据输入产生预测,损失函数再把预测与真实值进行比较。单个样本的结果称为样本损失;一个批次可按样本取平均值或求和,优化器用归约后的标量计算梯度。加权、忽略标签或多输出时还要核对分母。比较不同实验的损失值前,先统一权重、掩码和归约口径。

损失函数不是准确率。准确率只计阈值或取最大类别后的判定结果。交叉熵还使用概率或原始分数,即使两组预测的准确率一样,训练损失也可以不同。

两类常用损失

回归任务的均方误差

均方误差适合房价、温度等连续数值预测:

MSE=1n∑i=1n(y^i−yi)2\mathrm{MSE}=\frac{1}{n}\sum_{i=1}^{n}(\hat{y}_i-y_i)^2

假设真实值为 3,预测值为 2,则平方误差为 (2−3)2=1(2-3)^2=1。若预测变为 0,平方误差增大为 9,说明较大的偏差会受到更强惩罚。

分类任务的交叉熵

对于单个确定类别的标签,交叉熵会惩罚模型给该类别过低的概率。二分类时可令 y=1 表示正类,p 表示模型估计的正类概率。二分类中常写为:

L=−[ylog⁡(p)+(1−y)log⁡(1−p)]L=-[y\log(p)+(1-y)\log(1-p)]

当真实标签 y=1y=1 时,预测概率 p=0.9p=0.9 的损失约为 0.105,而 p=0.1p=0.1 的损失约为 2.303。模型越确信错误答案,惩罚越大。

下表用 0.5 作判定阈值,概率等于 0.5 时归正类。

真实标签 正类概率 判断 交叉熵损失约值
1 0.9 正确且较自信 0.105
1 0.6 正确但不够自信 0.511
1 0.1 错误且较自信 2.303

用同样的准确率比较损失

先将上一课的 logit 记为 zz。若标签为 0,令 s=zs=z;若标签为 1,令 s=−zs=-z。于是无权重的二元交叉熵可稳定写成 max⁡(s,0)+ln⁡(1+e−∣s∣)\max(s,0)+\ln(1+e^{-|s|})。以下示例使用相同的两个标签,按记录取算术平均。

python
from math import exp, isfinite, log1p
from statistics import mean

def binary_cross_entropy(logit, label):
    if not isfinite(logit) or label not in (0, 1):
        raise ValueError("需要有限的 logit 和 0 或 1 标签")
    signed = logit if label == 0 else -logit
    return max(signed, 0) + log1p(exp(-abs(signed)))

labels = [1, 0]
for logits in ([3, -3], [0.2, -0.2], [-1000, 1000]):
    accuracy = mean(int((z >= 0) == bool(y)) for z, y in zip(logits, labels))
    loss = mean(binary_cross_entropy(z, y) for z, y in zip(logits, labels))
    print(f"准确率={accuracy:.1f}, 平均损失={loss:.3f}")

前两组准确率都是 1,平均损失约为 0.049 和 0.598。第三组全部判错,分数方向极端,平均损失为 1000。选择模型时仍应单独报告适合任务的验证指标。

选择与边界

回归任务常从均方误差或平均绝对误差开始;分类任务通常选择交叉熵。实现时不要先把概率四舍五入为类别再计算损失,否则会丢失概率信息。例如 PyTorch 的 BCEWithLogitsLoss 接收二分类或多标签 logits 和同形状的浮点目标。互斥多分类可用 CrossEntropyLoss,最常见的目标格式是整型类别索引,输入保留各类别未归一化分数。明确接口后再选择归约方式。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

损失函数

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通