机器学习与深度学习 / 系统课时

理解线性回归

理解线性回归

本课解决如何用一个或多个特征预测连续数值的问题。完成后,你能够读懂线性回归模型,理解权重、偏置和残差的含义,通过一个简单示例完成拟合与预测,并判断模型是否适合当前问题。

学习目标

  • 理解特征、权重和偏置在预测中的作用
  • 说明拟合直线如何通过减少残差平方和来降低预测误差
  • 完成一次线性回归计算,并判断模型的适用条件与边界

模型在学习什么

线性回归为每个特征学习一个权重,并学习一个偏置。单特征模型可以写成:

y^=wx+b\hat{y}=wx+b

其中,xx 是输入特征,y^\hat{y} 是预测值,ww 是权重,bb 是偏置。

权重表示特征增加一个单位时,预测值变化多少。例如,w=1.7w=1.7 表示 xx 每增加 1,预测值增加 1.7。偏置是模型的基准位置,即 x=0x=0 时的预测值。如果零点不在训练数据的合理范围内,就不宜直接赋予偏置业务含义。

当输入包含多个特征时,模型扩展为:

y^=w1x1+w2x2+⋯+wpxp+b\hat{y}=w_1x_1+w_2x_2+\cdots+w_px_p+b

每个特征有独立权重。某个权重表示其他特征不变时,该特征增加一个单位,预测值变化多少。但这种系数关系不等于因果关系,不能仅凭权重判断某个因素是否真正导致结果变化。

拟合直线与残差

模型通过寻找误差较小的直线或高维平面完成训练。真实值与预测值之间的差称为残差:

ei=yi−y^ie_i=y_i-\hat{y}_i

残差为正,表示模型预测偏低;残差为负,表示模型预测偏高。线性回归通常使用最小二乘法,寻找使训练样本残差平方和最小的参数。常用的均方误差(MSE)为:

MSE=1n∑i=1n(yi−y^i)2\mathrm{MSE}=\frac{1}{n}\sum_{i=1}^{n}(y_i-\hat{y}_i)^2

其中 nn 是样本数量。平方操作使正负残差都产生非负损失,并对较大的残差给予更重的惩罚。

例如,使用广告投入预测销售额,得到四组样本:(1,3)(1,3)、(2,5)(2,5)、(3,7)(3,7)、(4,8)(4,8),其中两个数分别表示广告投入与销售额,单位均为万元。线性回归会寻找一条尽量接近这些样本点的直线,而不要求直线穿过全部样本。

线性回归拟合直线与残差

图中的竖直虚线表示残差。拟合完成后,不仅要检查误差大小,还要观察残差的分布。如果残差随特征增加而持续呈现弯曲趋势,说明简单直线可能没有充分表达数据关系。

用数据完成一次拟合

下面使用 Python 标准库,根据上述四组样本计算最小二乘拟合直线。单特征线性回归可以直接通过样本均值、协方差相关的求和项与平方偏差求出权重和偏置,无须额外安装机器学习库。

python
# 广告投入和销售额,单位均为万元
x = [1.0, 2.0, 3.0, 4.0]
y = [3.0, 5.0, 7.0, 8.0]

mean_x = sum(x) / len(x)
mean_y = sum(y) / len(y)

# 最小二乘法:计算斜率和截距
numerator = sum((xi - mean_x) * (yi - mean_y)
                for xi, yi in zip(x, y))
denominator = sum((xi - mean_x) ** 2 for xi in x)
w = numerator / denominator
b = mean_y - w * mean_x

# 用拟合参数计算预测值和训练集均方误差
predictions = [w * xi + b for xi in x]
mse = sum((yi - pred) ** 2
          for yi, pred in zip(y, predictions)) / len(y)

print(f'权重 w = {w:.2f}')
print(f'偏置 b = {b:.2f}')
print(f'x=2.5 的预测值 = {w * 2.5 + b:.2f}')
print(f'训练集 MSE = {mse:.4f}')

预期输出:

text
权重 w = 1.70
偏置 b = 1.50
x=2.5 的预测值 = 5.75
训练集 MSE = 0.0750

模型得到的直线为 y^=1.7x+1.5\hat{y}=1.7x+1.5。当广告投入为 2.5 万元时,预测销售额为 5.75 万元。对于第一组样本,实际销售额为 3 万元,预测值为 3.2 万元,残差为 −0.2-0.2 万元。

验证时,可以把四组样本逐一代入拟合公式,计算残差平方,再取平均值,应得到 0.0750.075。这里使用训练样本自身计算误差,只能说明对已有数据的拟合程度,不能直接代表对新数据的预测能力。

适用条件与边界

线性回归适合连续目标和近似线性关系,例如根据面积预测房价、根据投入预测销售额。它的优势是计算简单、结果容易解释,但并不适合所有数据关系。

使用时重点检查以下情况:

  • 明显非线性:如果残差呈系统性的弯曲趋势,直线可能欠拟合,可以考虑特征变换或加入非线性特征。
  • 严重异常值:平方损失会放大较大残差的影响,少量极端样本可能明显改变拟合直线,应先核实数据来源。
  • 特征高度共线:多个特征高度相关时,模型预测可能仍然可用,但单个权重容易不稳定,解释时需要谨慎。
  • 训练范围外预测:示例中的广告投入只覆盖 1~4 万元。预测 5 万元甚至 20 万元投入时属于外推,原来的线性关系未必继续成立。

实际训练时,应将数据划分为训练集和验证集,在训练集上拟合参数,再用未参与拟合的数据检查 MSE、残差分布和预测偏差。如果训练误差很小,但验证误差明显增大,说明模型可能受到过拟合、异常数据或训练与验证数据分布差异的影响。

线性回归预测的是连续数值。如果目标是判断用户是否流失、邮件是否为垃圾邮件等离散类别,应选择适合分类任务的模型。对于连续数值预测,可以先用线性回归建立基准,再根据验证误差和残差特征判断是否需要更复杂的模型。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

理解线性回归

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通