机器学习与深度学习 / 系统课时
理解损失函数
理解损失函数
损失函数把“预测得有多错”压缩成一个可优化的数值。本篇用具体数字比较回归中的 MSE、MAE,以及分类中的二元交叉熵和稀疏分类交叉熵,并说明怎样根据任务、标签格式和输出层选择正确组合。
学习目标
- 能区分回归与分类任务常用损失函数的计算目标。
- 能根据标签格式选择
BinaryCrossentropy、SparseCategoricalCrossentropy等接口。 - 能通过一个小型 TensorFlow 示例核对损失值,并识别常见配置错误。
回归任务先看误差怎样被放大
假设真实值是 [3, 5],预测值是 [2.5, 6]。两个误差分别为 -0.5 和 1。MSE 先平方再取平均,得到 ;MAE 取绝对值再平均,得到 。
| 损失 | 本例结果 | 对大误差的反应 | 常见场景 |
|---|---|---|---|
| MSE | 0.625 | 平方后放大 | 一般连续值回归 |
| MAE | 0.75 | 线性增长 | 希望降低离群点影响 |
如果某个样本误差从 2 增大到 4,MSE 中该样本的贡献从 4 变成 16,而 MAE 只从 2 变成 4。数据里偶发极端值很多时,MAE 往往比 MSE 更不容易被少数样本主导。
分类任务关注正确类别的概率
二分类中,标签通常是 0 或 1。若真实标签为 1、模型给正类概率 0.8,损失约为 ;若只给 0.1,损失会升到约 2.303。交叉熵因此会明显惩罚“高置信度但预测错误”的结果。
多分类时,若真实类别索引是 2,模型对三个类别给出 [0.1, 0.2, 0.7],稀疏分类交叉熵只关心真实类别对应的 0.7,单样本损失约为 。标签若直接用整数类别索引,优先使用 SparseCategoricalCrossentropy;标签若已经是独热编码,则使用 CategoricalCrossentropy。
损失函数必须匹配输出形式
Keras 的交叉熵可以接收概率,也可以直接接收 logits,但两种情况的参数不同。若输出层没有 Sigmoid 或 Softmax,应把 from_logits=True;若已经输出 0 到 1 的概率,则保持 from_logits=False。
| 任务 | 标签示例 | 输出层 | 推荐损失 |
|---|---|---|---|
| 二分类 | 0、1 |
1 个线性单元 | BinaryCrossentropy(from_logits=True) |
| 二分类 | 0、1 |
1 个 Sigmoid 单元 | BinaryCrossentropy() |
| 多分类整数标签 | 0、1、2 |
3 个线性单元 | SparseCategoricalCrossentropy(from_logits=True) |
| 回归 | 3.2、-1.5 |
线性输出 | MeanSquaredError() 或 MeanAbsoluteError() |
用 TensorFlow 核对两个损失值
下面同时计算一个回归 MSE 和一个二分类 BCE。使用固定数据并格式化为 4 位小数,结果可直接与手算对照。
import tensorflow as tf
mse = tf.keras.losses.MeanSquaredError()
bce = tf.keras.losses.BinaryCrossentropy()
mse_value = mse(
tf.constant([3.0, 5.0]),
tf.constant([2.5, 6.0]),
)
bce_value = bce(
tf.constant([1.0, 0.0]),
tf.constant([0.8, 0.3]),
)
print(f"MSE: {mse_value.numpy():.4f}")
print(f"BCE: {bce_value.numpy():.4f}")预期输出:
MSE: 0.6250
BCE: 0.2899BCE 的 0.2899 来自两个样本损失的平均:正样本预测 0.8、负样本预测 0.3。若想比较不同模型,必须保证损失的 reduction 方式一致;Keras 默认通常按一个批次中的样本损失求平均。
选择损失时先固定任务和标签格式
实际建模可按三步检查:先确认目标是连续值、二分类还是多分类;再确认标签是整数索引、0/1 还是独热编码;最后核对模型输出的是 logits 还是概率。只要这三项一致,损失函数通常就不会选错。
当评估指标与损失不一致时也不必惊讶。例如分类训练可以最小化交叉熵,同时监控 accuracy;回归可以用 MSE 训练,同时查看 MAE。损失主要服务于梯度优化,指标主要服务于解释模型效果,两者职责不同。