机器学习与深度学习 / 系统课时
训练多变量回归模型
训练多变量回归模型
本课解决单个特征不足以解释目标的问题。完成后,你能够使用面积和卧室数量共同预测房价,训练多变量线性回归模型,并在保持其他特征不变的条件下解释系数,通过手算验证预测结果。
学习目标
- 使用多个特征联合预测
- 解释每个回归系数
- 识别共线性和字段顺序风险
多变量系数的含义
每个样本由多列特征组成,模型为每列学习一个系数。某个系数表示其他特征不变时,该字段增加一个单位带来的平均预测变化。
以面积和卧室数量预测房价为例,模型可以写成:
其中, 是面积, 是卧室数量, 和 分别是对应系数, 是截距, 是预测房价。
例如,当 、、,且房价单位为万元时,面积每增加 1 平方米、卧室数保持不变,预测总价增加 2 万元;卧室数量每增加 1 间、面积保持不变,预测总价增加 10 万元。这是模型中的条件解释,并不代表真实房价一定遵循该规律。
输入数据必须是二维特征矩阵,形状为 (样本数, 特征数)。例如,5 套房屋、每套 2 个特征,对应形状 (5, 2)。每行代表一套房屋,每列代表一种特征,目标数组中的房价必须与样本行一一对应。
完整示例
下面使用面积和卧室数量预测房价,单位为万元。将代码保存为 multiple_regression_demo.py。示例使用人工构造的数据,便于检查模型是否正确恢复已知的线性关系。
import numpy as np
from sklearn.linear_model import LinearRegression
x = np.array([
[60, 1],
[80, 2],
[100, 2],
[120, 3],
[140, 3],
], dtype=float)
# 人工数据规则:总价 = 2 × 面积 + 10 × 卧室数 + 20
y = np.array([150, 200, 240, 290, 330], dtype=float)
model = LinearRegression()
model.fit(x, y)
print("系数:", np.round(model.coef_, 3))
print("偏置:", round(model.intercept_, 3))
# 预测时保持列顺序不变:[面积, 卧室数]
print("预测:", round(model.predict([[110, 3]])[0], 1))需要预先安装 numpy 和 scikit-learn。在保存脚本的目录执行以下命令:
python multiple_regression_demo.py预期输出:
系数: [ 2. 10.]
偏置: 20.0
预测: 270.0model.fit(x, y) 根据训练样本估计系数和截距。model.coef_ 按输入特征的列顺序返回系数,model.intercept_ 返回截距,model.predict() 使用已训练的模型计算新样本预测值。
验证系数与预测结果
输出的系数 [2, 10] 分别对应面积和卧室数,截距为 20。对于面积为 110 平方米、卧室数为 3 的房屋,可以直接代入模型:
手算结果为 270 万元,与程序输出一致。还可以检查第一条训练样本:面积 60 平方米、卧室数 1,代入得到 万元,与原始目标值相同。
这里的训练标签完全遵循同一个线性公式,因此模型可以恢复已知系数并准确拟合这些样本。真实数据存在噪声、异常值及其他影响因素,训练集预测准确并不意味着对新数据同样准确;实际项目仍应使用独立测试集评估泛化效果。
关键边界
训练与预测时特征顺序必须一致。例如,[110, 3] 表示面积 110、卧室数 3;若误写成 [3, 110],模型通常仍会返回数值,但实际含义已经错误。建议在真实项目中使用带列名的数据表,并通过统一的预处理流程固定特征顺序。
高度相关的特征会让系数分配不稳定。例如,面积与卧室数量往往同时增加,模型可能难以区分两者各自的影响;如果某列能由其他列精确线性表示,单独的系数甚至无法被唯一确定。此时可以检查特征相关性、删除冗余字段或考虑正则化回归。
类别特征和缺失值需要先处理。对于需要标准化、缺失值填充等预处理的项目,应先划分训练集和测试集,只在训练集上拟合预处理参数,再将相同转换应用于测试集与预测数据,避免信息泄漏。
最后,回归系数表示控制模型中其他特征后的统计关联,不自动证明因果关系。解释系数时,还需要关注特征单位、数据覆盖范围以及是否存在遗漏的重要变量。对于远超训练范围的房屋面积或卧室数量,线性模型给出的外推预测也应谨慎使用。