机器学习与深度学习 / 系统课时
回归评估指标
回归评估指标
线性回归给出连续数值预测。评估时可用 MAE、MSE 和 RMSE 描述偏差,用决定系数 比较误差和当前评估标签的波动。本课用同一批合成目标计算四项指标,再对照只从训练数据学习的常数预测。
学习目标
- 计算 MAE、MSE、RMSE 和 ,说明单位与解释边界。
- 区分 的数学参照与可部署基线。
- 识别常量目标、少量样本和少数严重偏差对指标的影响。
同一批预测的误差
| 样本 | 真实值 | 预测值 | 预测减真实 | 绝对误差 | 平方误差 |
|---|---|---|---|---|---|
| 1 | 10 | 12 | 2 | 2 | 4 |
| 2 | 20 | 18 | -2 | 2 | 4 |
| 3 | 30 | 35 | 5 | 5 | 25 |
记 。MAE 是 ,本例为 3,与目标单位一致。MSE 是 ,本例为 11,单位是目标单位的平方。RMSE 是整批 MSE 的平方根,本例约为 3.317,恢复目标单位。平方会给大偏差更多权重。比较两个模型时,MAE 和 RMSE 可能给出不同排序:绝对误差 [0,0,9] 的 MAE 为 3、RMSE 约为 5.196,[4,4,4] 的两项都为 4。 scikit-learn 回归指标说明
R² 的参照来自评估标签
设评估标签均值为 ,决定系数为:
本例 、分母是 200、残差平方和为 33,所以 。在标签不全相同时,预测完全正确得 1,误差和评估均值参照相等得 0,误差更大时会出现负值。它不是误差百分比。用同一模型在目标波动不同的分组上测得的 也不宜直接作为难度或优劣排名。 scikit-learn R² 定义
评估集标签均值用于定义 ,模型预测时并不知道这个数。第 03 章用训练标签的统计量构建可部署的常数基线,本例也用训练均值。若评价 MAE,训练中位数也是合适的常数候选。每个基线都在同一评估集上打分。 scikit-learn DummyRegressor
当评估目标全部相同, 分母为零。scikit-learn 默认会把这种情况下的完美预测记为 1.0、非完美预测记为 0.0,便于搜索流程;用 force_finite=False 可以看到相应的 nan 或 -inf。不足两个评估样本时 不定义。此时报告适用的 MAE、RMSE 和样本量。 scikit-learn R² 退化情况
用 Python 复算并比较基线
示例用 scikit-learn 1.4 或以上。常数基线拟合的三个训练标签均值为 18,与评估标签的 20 不同。脚本还检查一个常量目标,在该段故意展示未强制转换的结果。NumPy 错误状态仅作用于这两次已知的零分母演示。
import numpy as np
from sklearn.dummy import DummyRegressor
from sklearn.metrics import mean_absolute_error, mean_squared_error
from sklearn.metrics import r2_score, root_mean_squared_error
y_eval = [10, 20, 30]
prediction = [12, 18, 35]
print(f"MAE={mean_absolute_error(y_eval, prediction):.3f}")
print(f"MSE={mean_squared_error(y_eval, prediction):.3f}")
print(f"RMSE={root_mean_squared_error(y_eval, prediction):.3f}")
print(f"R2={r2_score(y_eval, prediction):.3f}")
baseline = DummyRegressor(strategy="mean").fit([[1], [2], [3]], [12, 18, 24])
baseline_pred = baseline.predict([[4], [5], [6]])
print("train-mean baseline:", baseline_pred.tolist())
print(f"baseline R2={r2_score(y_eval, baseline_pred):.3f}")
with np.errstate(divide="ignore", invalid="ignore"):
perfect = r2_score([5, 5, 5], [5, 5, 5], force_finite=False)
imperfect = r2_score([5, 5, 5], [4, 5, 5], force_finite=False)
print("constant target R2:", perfect, imperfect)MAE=3.000
MSE=11.000
RMSE=3.317
R2=0.835
train-mean baseline: [18.0, 18.0, 18.0]
baseline R2=-0.060
constant target R2: nan -inf选择汇总方式并复查误差
先明确业务容忍的误差单位和大偏差代价。为了比较不同大小分组的整体 RMSE,汇总样本的平方误差并求均值后开根号。若改用各组 RMSE 的等权平均,应说明这是不同的口径。报告时可同时给出分组样本数、绝对误差分位数和有符号的平均误差,检查少数大误差与系统性高估或低估。 scikit-learn 回归指标说明
本课练习
把第三个预测从 35 改为 45,重算四项指标。再把训练基线改用中位数并换成有极端值的训练标签,比较均值和中位数候选在同一评估集上的 MAE。