机器学习与深度学习 / 系统课时

训练多变量回归模型

训练多变量回归模型

本课解决单个特征不足以解释目标的问题。完成后,你能够使用面积和卧室数量共同预测房价,训练多变量线性回归模型,并在保持其他特征不变的条件下解释系数,通过手算验证预测结果。

学习目标

  • 使用多个特征联合预测
  • 解释每个回归系数
  • 识别共线性和字段顺序风险

多变量系数的含义

每个样本由多列特征组成,模型为每列学习一个系数。某个系数表示其他特征不变时,该字段增加一个单位带来的平均预测变化。

以面积和卧室数量预测房价为例,模型可以写成:

y^=b+w1x1+w2x2\hat{y}=b+w_1x_1+w_2x_2

其中,x1x_1 是面积,x2x_2 是卧室数量,w1w_1 和 w2w_2 分别是对应系数,bb 是截距,y^\hat{y} 是预测房价。

例如,当 w1=2w_1=2、w2=10w_2=10、b=20b=20,且房价单位为万元时,面积每增加 1 平方米、卧室数保持不变,预测总价增加 2 万元;卧室数量每增加 1 间、面积保持不变,预测总价增加 10 万元。这是模型中的条件解释,并不代表真实房价一定遵循该规律。

输入数据必须是二维特征矩阵,形状为 (样本数, 特征数)。例如,5 套房屋、每套 2 个特征,对应形状 (5, 2)。每行代表一套房屋,每列代表一种特征,目标数组中的房价必须与样本行一一对应。

完整示例

下面使用面积和卧室数量预测房价,单位为万元。将代码保存为 multiple_regression_demo.py。示例使用人工构造的数据,便于检查模型是否正确恢复已知的线性关系。

python
import numpy as np
from sklearn.linear_model import LinearRegression

x = np.array([
    [60, 1],
    [80, 2],
    [100, 2],
    [120, 3],
    [140, 3],
], dtype=float)

# 人工数据规则:总价 = 2 × 面积 + 10 × 卧室数 + 20
y = np.array([150, 200, 240, 290, 330], dtype=float)

model = LinearRegression()
model.fit(x, y)

print("系数:", np.round(model.coef_, 3))
print("偏置:", round(model.intercept_, 3))
# 预测时保持列顺序不变:[面积, 卧室数]
print("预测:", round(model.predict([[110, 3]])[0], 1))

需要预先安装 numpy 和 scikit-learn。在保存脚本的目录执行以下命令:

bash
python multiple_regression_demo.py

预期输出:

text
系数: [ 2. 10.]
偏置: 20.0
预测: 270.0

model.fit(x, y) 根据训练样本估计系数和截距。model.coef_ 按输入特征的列顺序返回系数,model.intercept_ 返回截距,model.predict() 使用已训练的模型计算新样本预测值。

验证系数与预测结果

输出的系数 [2, 10] 分别对应面积和卧室数,截距为 20。对于面积为 110 平方米、卧室数为 3 的房屋,可以直接代入模型:

y^=20+2×110+10×3=270\hat{y}=20+2\times110+10\times3=270

手算结果为 270 万元,与程序输出一致。还可以检查第一条训练样本:面积 60 平方米、卧室数 1,代入得到 20+2×60+10×1=15020+2\times60+10\times1=150 万元,与原始目标值相同。

这里的训练标签完全遵循同一个线性公式,因此模型可以恢复已知系数并准确拟合这些样本。真实数据存在噪声、异常值及其他影响因素,训练集预测准确并不意味着对新数据同样准确;实际项目仍应使用独立测试集评估泛化效果。

关键边界

训练与预测时特征顺序必须一致。例如,[110, 3] 表示面积 110、卧室数 3;若误写成 [3, 110],模型通常仍会返回数值,但实际含义已经错误。建议在真实项目中使用带列名的数据表,并通过统一的预处理流程固定特征顺序。

高度相关的特征会让系数分配不稳定。例如,面积与卧室数量往往同时增加,模型可能难以区分两者各自的影响;如果某列能由其他列精确线性表示,单独的系数甚至无法被唯一确定。此时可以检查特征相关性、删除冗余字段或考虑正则化回归。

类别特征和缺失值需要先处理。对于需要标准化、缺失值填充等预处理的项目,应先划分训练集和测试集,只在训练集上拟合预处理参数,再将相同转换应用于测试集与预测数据,避免信息泄漏。

最后,回归系数表示控制模型中其他特征后的统计关联,不自动证明因果关系。解释系数时,还需要关注特征单位、数据覆盖范围以及是否存在遗漏的重要变量。对于远超训练范围的房屋面积或卧室数量,线性模型给出的外推预测也应谨慎使用。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

训练多变量回归模型

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通