机器学习与深度学习 / 系统课时

理解损失函数

理解损失函数

损失函数把“预测得有多错”压缩成一个可优化的数值。本篇用具体数字比较回归中的 MSE、MAE,以及分类中的二元交叉熵和稀疏分类交叉熵,并说明怎样根据任务、标签格式和输出层选择正确组合。

学习目标

  • 能区分回归与分类任务常用损失函数的计算目标。
  • 能根据标签格式选择 BinaryCrossentropy、SparseCategoricalCrossentropy 等接口。
  • 能通过一个小型 TensorFlow 示例核对损失值,并识别常见配置错误。

回归任务先看误差怎样被放大

假设真实值是 [3, 5],预测值是 [2.5, 6]。两个误差分别为 -0.5 和 1。MSE 先平方再取平均,得到 (0.25+1)/2=0.625(0.25+1)/2=0.625;MAE 取绝对值再平均,得到 (0.5+1)/2=0.75(0.5+1)/2=0.75。

损失 本例结果 对大误差的反应 常见场景
MSE 0.625 平方后放大 一般连续值回归
MAE 0.75 线性增长 希望降低离群点影响

如果某个样本误差从 2 增大到 4,MSE 中该样本的贡献从 4 变成 16,而 MAE 只从 2 变成 4。数据里偶发极端值很多时,MAE 往往比 MSE 更不容易被少数样本主导。

分类任务关注正确类别的概率

二分类中,标签通常是 0 或 1。若真实标签为 1、模型给正类概率 0.8,损失约为 −log(0.8)=0.223-log(0.8)=0.223;若只给 0.1,损失会升到约 2.303。交叉熵因此会明显惩罚“高置信度但预测错误”的结果。

多分类时,若真实类别索引是 2,模型对三个类别给出 [0.1, 0.2, 0.7],稀疏分类交叉熵只关心真实类别对应的 0.7,单样本损失约为 −log(0.7)=0.357-log(0.7)=0.357。标签若直接用整数类别索引,优先使用 SparseCategoricalCrossentropy;标签若已经是独热编码,则使用 CategoricalCrossentropy。

损失函数必须匹配输出形式

Keras 的交叉熵可以接收概率,也可以直接接收 logits,但两种情况的参数不同。若输出层没有 Sigmoid 或 Softmax,应把 from_logits=True;若已经输出 0 到 1 的概率,则保持 from_logits=False。

任务 标签示例 输出层 推荐损失
二分类 0、1 1 个线性单元 BinaryCrossentropy(from_logits=True)
二分类 0、1 1 个 Sigmoid 单元 BinaryCrossentropy()
多分类整数标签 0、1、2 3 个线性单元 SparseCategoricalCrossentropy(from_logits=True)
回归 3.2、-1.5 线性输出 MeanSquaredError() 或 MeanAbsoluteError()

用 TensorFlow 核对两个损失值

下面同时计算一个回归 MSE 和一个二分类 BCE。使用固定数据并格式化为 4 位小数,结果可直接与手算对照。

python
import tensorflow as tf

mse = tf.keras.losses.MeanSquaredError()
bce = tf.keras.losses.BinaryCrossentropy()

mse_value = mse(
    tf.constant([3.0, 5.0]),
    tf.constant([2.5, 6.0]),
)
bce_value = bce(
    tf.constant([1.0, 0.0]),
    tf.constant([0.8, 0.3]),
)

print(f"MSE: {mse_value.numpy():.4f}")
print(f"BCE: {bce_value.numpy():.4f}")

预期输出:

text
MSE: 0.6250
BCE: 0.2899

BCE 的 0.2899 来自两个样本损失的平均:正样本预测 0.8、负样本预测 0.3。若想比较不同模型,必须保证损失的 reduction 方式一致;Keras 默认通常按一个批次中的样本损失求平均。

选择损失时先固定任务和标签格式

实际建模可按三步检查:先确认目标是连续值、二分类还是多分类;再确认标签是整数索引、0/1 还是独热编码;最后核对模型输出的是 logits 还是概率。只要这三项一致,损失函数通常就不会选错。

当评估指标与损失不一致时也不必惊讶。例如分类训练可以最小化交叉熵,同时监控 accuracy;回归可以用 MSE 训练,同时查看 MAE。损失主要服务于梯度优化,指标主要服务于解释模型效果,两者职责不同。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

理解损失函数

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通