机器学习与深度学习 / 系统课时
评估回归模型
评估回归模型
回归模型不能只看训练损失是否下降,还要用独立数据衡量预测误差。MSE 会放大大误差,MAE 直接表示平均偏差, 则衡量模型相对“始终预测均值”提升了多少。完成本课后,你能计算三项指标并根据它们判断模型问题。
学习目标
- 正确计算并区分 MSE、MAE 与 。
- 用一组固定预测结果手工核对 TensorFlow 计算值。
- 根据指标组合识别离群点影响、尺度问题与欠拟合迹象。
三个指标分别回答什么
均方误差 MSE 是平方误差的平均值,因此对大误差特别敏感;平均绝对误差 MAE 是绝对误差的平均值,数值单位与目标变量相同,更容易直接解释。若房价目标单位是“万元”,MAE=3.2 就表示平均绝对偏差约 3.2 万元。
使用 。1.0 表示预测完全匹配;0.0 表示与直接预测真实值均值相当;负值表示模型比“全部预测均值”还差。它没有目标变量的物理单位,因此适合补充比较拟合程度,但不能替代 MAE 对业务误差的解释。
用固定样本计算指标
下面使用四个固定样本:真实值 [3,-0.5,2,7],预测值 [2.5,0,2,8]。直接用 TensorFlow 张量运算计算三项指标,避免把训练过程中的随机性带进指标示例。
import tensorflow as tf
y_true = tf.constant([3.0, -0.5, 2.0, 7.0], dtype=tf.float32)
y_pred = tf.constant([2.5, 0.0, 2.0, 8.0], dtype=tf.float32)
errors = y_true - y_pred
mse = tf.reduce_mean(tf.square(errors))
mae = tf.reduce_mean(tf.abs(errors))
ss_res = tf.reduce_sum(tf.square(errors))
mean_true = tf.reduce_mean(y_true)
ss_tot = tf.reduce_sum(tf.square(y_true - mean_true))
r2 = 1.0 - ss_res / ss_tot
print(f"MSE={mse.numpy():.3f}")
print(f"MAE={mae.numpy():.3f}")
print(f"R2={r2.numpy():.6f}")预期输出
MSE=0.375
MAE=0.500
R2=0.948608四个样本的绝对误差分别是 0.5、0.5、0、1.0,所以 MAE 为 0.5;平方误差为 0.25、0.25、0、1.0,平均后得到 MSE 0.375。这个人工核对能及时发现维度广播或标签错位造成的“指标能算但算错对象”。
怎样解读指标组合
单看一个指标容易误判。下面给出同一业务目标下更实用的判读方式。
| 现象 | 更可能的问题 | 下一步检查 |
|---|---|---|
| MAE 较低但 MSE 明显偏高 | 少数样本误差特别大 | 查看绝对误差最大的前 5% 样本 |
| MSE 与 MAE 都高 | 整体预测偏差大 | 检查特征、模型容量和训练是否收敛 |
| 训练集好、验证集两者都明显变差 | 过拟合 | 比较训练与验证误差,并减少容量或加强正则 |
| 比预测均值还差 | 先检查标签、数据切分和预处理是否一致 |
例如某房价模型 MAE=2.0 万元,但 MSE=100 平方万元,说明平均误差看似不大,却可能存在少量几十万元级的失败样本。此时优先定位大残差样本,比继续微调学习率更有效。
用残差定位问题
指标告诉你“差多少”,残差才能进一步说明“哪里差”。对每个样本计算 residual = y_true - y_pred,再按目标值、关键特征或时间排序。理想情况下,残差应围绕 0 分布且没有明显结构。
如果低价房残差接近 0,高价房持续为正,说明模型系统性低估高价区间;如果某个时间段误差突然增大,应检查数据分布是否变化。评估时始终在未参与参数更新的验证集或测试集上计算指标,否则得到的数值会过于乐观,无法代表真实泛化效果。