机器学习与深度学习 / 系统课时
评估回归模型
评估回归模型
只看训练损失无法判断模型对新数据的预测质量。本课使用同一组真实值与预测值计算 MAE、MSE、RMSE 和 R²,理解不同指标反映的误差特征,并通过手工核对与分组检查,形成可用于实际项目的回归模型评估方法。
学习目标
- 计算 MAE、MSE、RMSE 和 R²,并解释各指标的含义
- 根据业务误差成本选择主要评价指标
- 使用测试集和分组检查识别整体指标掩盖的问题
指标分别关注什么
回归评估首先比较预测值与真实值。设真实值为 、预测值为 ,单个样本的误差为 。不同指标对这些误差采用不同的汇总方式。
- MAE(平均绝对误差):对所有误差的绝对值取平均,单位与目标变量一致。每个样本的误差按绝对大小计入,容易解释为平均偏差多少。
- MSE(均方误差):对误差平方后取平均,大误差受到更高惩罚。其单位是目标变量单位的平方,常用于模型训练和优化。
- RMSE(均方根误差):对 MSE 开平方,恢复为目标变量的原始单位,同时保留对大误差更敏感的特点。
- R²(决定系数):比较模型与始终预测真实值均值的基线。通常越接近
1越好;0表示与均值基线相当;小于0表示还不如均值基线。
例如预测房价时,MAE 为 8 万元表示平均绝对偏差为 8 万元;RMSE 为 12 万元说明较大的预测偏差进一步抬高了整体误差。两者应结合业务容忍范围理解,不能只比较数值大小。
完整示例
使用四条样本计算全部指标。假设这些真实值与预测值来自未参与模型训练的测试集,将代码保存为 regression_metrics_demo.py。
运行环境需要 Python 3,以及已安装的 numpy 和 scikit-learn。
import numpy as np
from sklearn.metrics import mean_absolute_error, mean_squared_error, r2_score
# 假设来自未参与训练的测试集
y_true = np.array([100, 200, 300, 400], dtype=float)
y_pred = np.array([110, 190, 330, 370], dtype=float)
mae = mean_absolute_error(y_true, y_pred)
mse = mean_squared_error(y_true, y_pred)
# 通过 MSE 开平方计算 RMSE
rmse = np.sqrt(mse)
r2 = r2_score(y_true, y_pred)
print(f"MAE: {mae:.2f}")
print(f"MSE: {mse:.2f}")
print(f"RMSE: {rmse:.2f}")
print(f"R²: {r2:.3f}")运行命令:
python regression_metrics_demo.py预期输出:
MAE: 20.00
MSE: 500.00
RMSE: 22.36
R²: 0.960这四个指标使用完全相同的样本,但反映不同的误差特征。在比较两个模型时,必须使用相同的测试数据和指标定义,不能直接比较不同测试集上的分数。
核对计算结果
四个样本的预测误差依次为 -10、10、-30、30,绝对误差为 10、10、30、30,平方误差为 100、100、900、900。
MAE 等于绝对误差之和除以样本数,即 (10+10+30+30)/4=20。MSE 等于平方误差之和除以样本数,即 (100+100+900+900)/4=500。RMSE 为 MSE 的平方根,约为 22.36。
R² 的计算需要比较模型的平方误差总和与均值基线的平方误差总和:
其中 是真实值的均值。本例中均值为 250,模型平方误差总和为 2000,均值基线平方误差总和为 50000,因此 R² 为 1-2000/50000=0.96。
这表示模型相对于均值基线减少了 96% 的平方误差,不代表预测准确率为 96%。可以用上述手算结果逐项核对程序输出,确认指标计算没有使用错误的数据列。
如何选择指标
每个单位误差的业务成本接近时,优先使用 MAE。例如预测配送时间,平均偏差多少分钟往往比平方误差更容易解释。
如果大误差会造成明显更高的业务损失,应重点关注 RMSE。例如多数订单预测偏差为 5 分钟,但少数订单偏差超过 60 分钟,RMSE 会比 MAE 更明显地反映这些大偏差。
MSE 适合与平方误差损失函数对应的训练过程,但直接报告给业务人员时,应注意其单位已经平方。R² 适合判断模型相对均值基线是否有改进,但不能替代具有业务单位的误差指标。
实际评估还应遵循以下检查顺序:
- 在未参与训练或调参的测试集上计算指标,避免将训练表现误认为泛化能力。
- 选择一个主要指标作为模型比较依据,并保留至少一个辅助指标。例如主要看 MAE,同时观察 RMSE。
- 按地区、金额区间或时间分组计算误差,检查整体指标是否掩盖特定群体的问题。
- 检查误差较大的样本,确认是数据异常、特征不足,还是模型在某些范围内持续高估或低估。
最终报告应同时说明测试数据范围、主要误差指标及其单位、R² 和关键分组表现。只有在相同评估条件下比较模型,才能判断一次指标提升是否具有实际意义。