机器学习与深度学习 / 系统课时

回归评估指标

回归评估指标

线性回归给出连续数值预测。评估时可用 MAE、MSE 和 RMSE 描述偏差,用决定系数 R2R^2 比较误差和当前评估标签的波动。本课用同一批合成目标计算四项指标,再对照只从训练数据学习的常数预测。

学习目标

  • 计算 MAE、MSE、RMSE 和 R2R^2,说明单位与解释边界。
  • 区分 R2R^2 的数学参照与可部署基线。
  • 识别常量目标、少量样本和少数严重偏差对指标的影响。

同一批预测的误差

样本 真实值 预测值 预测减真实 绝对误差 平方误差
1 10 12 2 2 4
2 20 18 -2 2 4
3 30 35 5 5 25

记 ei=y^i−yie_i=\hat{y}_i-y_i。MAE 是 ∑i∣ei∣/n\sum_i |e_i|/n,本例为 3,与目标单位一致。MSE 是 ∑iei2/n\sum_i e_i^2/n,本例为 11,单位是目标单位的平方。RMSE 是整批 MSE 的平方根,本例约为 3.317,恢复目标单位。平方会给大偏差更多权重。比较两个模型时,MAE 和 RMSE 可能给出不同排序:绝对误差 [0,0,9] 的 MAE 为 3、RMSE 约为 5.196,[4,4,4] 的两项都为 4。 scikit-learn 回归指标说明

R² 的参照来自评估标签

设评估标签均值为 yˉ\bar{y},决定系数为:

R2=1−∑i(yi−y^i)2∑i(yi−yˉ)2.R^2=1-\frac{\sum_i(y_i-\hat{y}_i)^2}{\sum_i(y_i-\bar{y})^2}.

本例 yˉ=20\bar{y}=20、分母是 200、残差平方和为 33,所以 R2=0.835R^2=0.835。在标签不全相同时,预测完全正确得 1,误差和评估均值参照相等得 0,误差更大时会出现负值。它不是误差百分比。用同一模型在目标波动不同的分组上测得的 R2R^2 也不宜直接作为难度或优劣排名。 scikit-learn R² 定义

评估集标签均值用于定义 R2R^2,模型预测时并不知道这个数。第 03 章用训练标签的统计量构建可部署的常数基线,本例也用训练均值。若评价 MAE,训练中位数也是合适的常数候选。每个基线都在同一评估集上打分。 scikit-learn DummyRegressor

当评估目标全部相同,R2R^2 分母为零。scikit-learn 默认会把这种情况下的完美预测记为 1.0、非完美预测记为 0.0,便于搜索流程;用 force_finite=False 可以看到相应的 nan 或 -inf。不足两个评估样本时 R2R^2 不定义。此时报告适用的 MAE、RMSE 和样本量。 scikit-learn R² 退化情况

用 Python 复算并比较基线

示例用 scikit-learn 1.4 或以上。常数基线拟合的三个训练标签均值为 18,与评估标签的 20 不同。脚本还检查一个常量目标,在该段故意展示未强制转换的结果。NumPy 错误状态仅作用于这两次已知的零分母演示。

python
import numpy as np
from sklearn.dummy import DummyRegressor
from sklearn.metrics import mean_absolute_error, mean_squared_error
from sklearn.metrics import r2_score, root_mean_squared_error


y_eval = [10, 20, 30]
prediction = [12, 18, 35]
print(f"MAE={mean_absolute_error(y_eval, prediction):.3f}")
print(f"MSE={mean_squared_error(y_eval, prediction):.3f}")
print(f"RMSE={root_mean_squared_error(y_eval, prediction):.3f}")
print(f"R2={r2_score(y_eval, prediction):.3f}")

baseline = DummyRegressor(strategy="mean").fit([[1], [2], [3]], [12, 18, 24])
baseline_pred = baseline.predict([[4], [5], [6]])
print("train-mean baseline:", baseline_pred.tolist())
print(f"baseline R2={r2_score(y_eval, baseline_pred):.3f}")

with np.errstate(divide="ignore", invalid="ignore"):
    perfect = r2_score([5, 5, 5], [5, 5, 5], force_finite=False)
    imperfect = r2_score([5, 5, 5], [4, 5, 5], force_finite=False)
print("constant target R2:", perfect, imperfect)
text
MAE=3.000
MSE=11.000
RMSE=3.317
R2=0.835
train-mean baseline: [18.0, 18.0, 18.0]
baseline R2=-0.060
constant target R2: nan -inf

选择汇总方式并复查误差

先明确业务容忍的误差单位和大偏差代价。为了比较不同大小分组的整体 RMSE,汇总样本的平方误差并求均值后开根号。若改用各组 RMSE 的等权平均,应说明这是不同的口径。报告时可同时给出分组样本数、绝对误差分位数和有符号的平均误差,检查少数大误差与系统性高估或低估。 scikit-learn 回归指标说明

本课练习

把第三个预测从 35 改为 45,重算四项指标。再把训练基线改用中位数并换成有极端值的训练标签,比较均值和中位数候选在同一评估集上的 MAE。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

回归评估指标

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通