机器学习与深度学习 / 系统课时

评估回归模型

评估回归模型

只看训练损失无法判断模型对新数据的预测质量。本课使用同一组真实值与预测值计算 MAE、MSE、RMSE 和 R²,理解不同指标反映的误差特征,并通过手工核对与分组检查,形成可用于实际项目的回归模型评估方法。

学习目标

  • 计算 MAE、MSE、RMSE 和 R²,并解释各指标的含义
  • 根据业务误差成本选择主要评价指标
  • 使用测试集和分组检查识别整体指标掩盖的问题

指标分别关注什么

回归评估首先比较预测值与真实值。设真实值为 yiy_i、预测值为 y^i\hat y_i,单个样本的误差为 ei=yi−y^ie_i=y_i-\hat y_i。不同指标对这些误差采用不同的汇总方式。

  • MAE(平均绝对误差):对所有误差的绝对值取平均,单位与目标变量一致。每个样本的误差按绝对大小计入,容易解释为平均偏差多少。
  • MSE(均方误差):对误差平方后取平均,大误差受到更高惩罚。其单位是目标变量单位的平方,常用于模型训练和优化。
  • RMSE(均方根误差):对 MSE 开平方,恢复为目标变量的原始单位,同时保留对大误差更敏感的特点。
  • R²(决定系数):比较模型与始终预测真实值均值的基线。通常越接近 1 越好;0 表示与均值基线相当;小于 0 表示还不如均值基线。

例如预测房价时,MAE 为 8 万元表示平均绝对偏差为 8 万元;RMSE 为 12 万元说明较大的预测偏差进一步抬高了整体误差。两者应结合业务容忍范围理解,不能只比较数值大小。

完整示例

使用四条样本计算全部指标。假设这些真实值与预测值来自未参与模型训练的测试集,将代码保存为 regression_metrics_demo.py。

运行环境需要 Python 3,以及已安装的 numpy 和 scikit-learn。

python
import numpy as np
from sklearn.metrics import mean_absolute_error, mean_squared_error, r2_score

# 假设来自未参与训练的测试集
y_true = np.array([100, 200, 300, 400], dtype=float)
y_pred = np.array([110, 190, 330, 370], dtype=float)

mae = mean_absolute_error(y_true, y_pred)
mse = mean_squared_error(y_true, y_pred)
# 通过 MSE 开平方计算 RMSE
rmse = np.sqrt(mse)
r2 = r2_score(y_true, y_pred)

print(f"MAE: {mae:.2f}")
print(f"MSE: {mse:.2f}")
print(f"RMSE: {rmse:.2f}")
print(f"R²: {r2:.3f}")

运行命令:

bash
python regression_metrics_demo.py

预期输出:

text
MAE: 20.00
MSE: 500.00
RMSE: 22.36
R²: 0.960

这四个指标使用完全相同的样本,但反映不同的误差特征。在比较两个模型时,必须使用相同的测试数据和指标定义,不能直接比较不同测试集上的分数。

核对计算结果

四个样本的预测误差依次为 -10、10、-30、30,绝对误差为 10、10、30、30,平方误差为 100、100、900、900。

MAE 等于绝对误差之和除以样本数,即 (10+10+30+30)/4=20。MSE 等于平方误差之和除以样本数,即 (100+100+900+900)/4=500。RMSE 为 MSE 的平方根,约为 22.36。

R² 的计算需要比较模型的平方误差总和与均值基线的平方误差总和:

R2=1−∑i(yi−y^i)2∑i(yi−yˉ)2R^2=1-\frac{\sum_i(y_i-\hat y_i)^2}{\sum_i(y_i-\bar y)^2}

其中 yˉ\bar y 是真实值的均值。本例中均值为 250,模型平方误差总和为 2000,均值基线平方误差总和为 50000,因此 R² 为 1-2000/50000=0.96。

这表示模型相对于均值基线减少了 96% 的平方误差,不代表预测准确率为 96%。可以用上述手算结果逐项核对程序输出,确认指标计算没有使用错误的数据列。

如何选择指标

每个单位误差的业务成本接近时,优先使用 MAE。例如预测配送时间,平均偏差多少分钟往往比平方误差更容易解释。

如果大误差会造成明显更高的业务损失,应重点关注 RMSE。例如多数订单预测偏差为 5 分钟,但少数订单偏差超过 60 分钟,RMSE 会比 MAE 更明显地反映这些大偏差。

MSE 适合与平方误差损失函数对应的训练过程,但直接报告给业务人员时,应注意其单位已经平方。R² 适合判断模型相对均值基线是否有改进,但不能替代具有业务单位的误差指标。

实际评估还应遵循以下检查顺序:

  1. 在未参与训练或调参的测试集上计算指标,避免将训练表现误认为泛化能力。
  2. 选择一个主要指标作为模型比较依据,并保留至少一个辅助指标。例如主要看 MAE,同时观察 RMSE。
  3. 按地区、金额区间或时间分组计算误差,检查整体指标是否掩盖特定群体的问题。
  4. 检查误差较大的样本,确认是数据异常、特征不足,还是模型在某些范围内持续高估或低估。

最终报告应同时说明测试数据范围、主要误差指标及其单位、R² 和关键分组表现。只有在相同评估条件下比较模型,才能判断一次指标提升是否具有实际意义。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

评估回归模型

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通