机器学习与深度学习 / 系统课时

使用多项式特征

使用多项式特征

当训练数据呈现弯曲趋势时,普通线性回归拟合出的直线可能产生系统性偏差。本课通过五组二次关系样本,使用多项式特征和 Pipeline 拟合曲线、验证预测结果,并掌握阶数选择与外推风险的判断方法。

学习目标

  • 理解多项式特征如何通过平方项和交互项表达非线性关系
  • 使用 PolynomialFeatures 和 Pipeline 完成特征展开、训练与预测
  • 根据验证结果选择多项式阶数,避免过拟合与不可靠的外推

为什么能够拟合曲线

普通单变量线性回归的预测形式是 y=b+w1xy=b+w_1x,只能表示直线。如果数据遵循先下降后上升的趋势,一条直线就难以准确拟合。

多项式特征通过增加平方项、立方项等新特征,让线性回归能够表达非线性关系。例如,二次多项式模型为:

y=b+w1x+w2x2y=b+w_1x+w_2x^2

对于单个输入 xx,PolynomialFeatures(degree=2, include_bias=False) 会生成 xx 和 x2x^2 两列。例如,原始输入 x=2x=2 展开后得到 [2,4][2,4]。

模型仍然通过线性回归学习系数,只是输入特征增加了非线性变换。因此,它对模型系数保持线性,却能够对原始输入拟合曲线。

一次与二次多项式特征对同一组训练样本的拟合效果

对于多个原始特征,多项式展开还会产生交互项。例如,两个输入特征 x1x_1、x2x_2 在二阶展开后,可以得到 x1x_1、x2x_2、x12x_1^2、x1x2x_1x_2 和 x22x_2^2。交互项让模型表达两个特征共同变化带来的影响。

完整示例

使用 Pipeline 将多项式特征展开与线性回归连接起来,可以保证训练和预测阶段采用相同的特征转换规则,避免手动展开时出现列数或顺序不一致的问题。

先确保 Python 环境已安装 numpy 和 scikit-learn,再将下面的代码保存为 polynomial_demo.py。

python
import numpy as np
from sklearn.linear_model import LinearRegression
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import PolynomialFeatures

x = np.array([[-2], [-1], [0], [1], [2]], dtype=float)
y = np.array([4, 1, 0, 1, 4], dtype=float)

pipeline = Pipeline([
    ("poly", PolynomialFeatures(degree=2, include_bias=False)),
    ("model", LinearRegression()),
])

# Pipeline 保证训练和预测使用相同的特征展开规则
pipeline.fit(x, y)

print("x=3 的预测:", round(pipeline.predict([[3]])[0], 1))

这里的五组样本满足 y=x2y=x^2。原始输入只有一列,经过二次多项式展开后变成两列,分别对应一次项和平方项。

参数 degree=2 表示最高生成二次特征;include_bias=False 表示不额外生成全为 1 的常数列,因为 LinearRegression 默认已经通过截距参数处理常数项。

pipeline.fit(x, y) 会先学习并应用特征展开,再训练线性回归模型。调用 pipeline.predict([[3]]) 时,Pipeline 自动将输入 3 展开为一次项 3 和平方项 9,然后完成预测。

运行命令:

bash
python polynomial_demo.py

预期输出:

text
x=3 的预测: 9.0

这个结果说明模型学到了样本中的二次关系。对于这组无噪声数据,拟合曲线为 y=x2y=x^2,所以输入 3 时得到预测值 9。

如何验证拟合效果

验证多项式模型时,不能只看训练误差,还要观察模型是否能够正确预测未参与训练的数据。

对于当前示例,可以先检查训练区间内的输入:x=1x=1 对应目标值 1,x=2x=2 对应目标值 4。二次模型能够准确拟合这两个样本,但这只能证明它适合当前构造的数据。

实际项目中,应先划分训练集和测试集,再只使用训练数据完成特征处理、模型训练和超参数选择。最后用保留的测试集计算 MAE、RMSE 或 R2R^2,判断模型能否泛化到新数据。

阶数选择与过拟合

多项式阶数应在训练集内部通过交叉验证选择。高阶模型可能贴合每个训练点,却在样本之间剧烈波动;特征较多时,展开后的列数也会快速增长。

例如,对于当前的二次关系,degree=1 只能学习直线,由于样本关于零点对称,最终拟合为 y=2y=2,无法捕捉 U 形趋势。degree=2 则能够准确表达这种关系。继续增加到四阶、五阶,并不意味着预测效果一定更好。

实际使用时,可以通过 GridSearchCV 搜索 Pipeline 中的 poly__degree 参数,例如候选阶数为 1、2、3。比较交叉验证误差,优先选择验证表现良好且阶数较低的模型,再使用独立测试集进行最终评估。

选择阶数还需要注意两个边界:

  • 样本数量不足:高阶模型需要估计更多系数,少量样本容易导致拟合不稳定。本例只有五个样本,仅用于演示特征展开,不适合作为可靠的阶数选择实验。
  • 特征维度较高:多变量展开会产生大量平方项和交互项,增加计算成本与过拟合风险。必要时可降低阶数,并考虑通过正则化约束模型系数。

因此,优先从较低阶数开始,使用训练集内部的交叉验证比较效果,并关注独立测试集误差。如果二次模型已经能准确描述数据趋势,就不必为了进一步降低训练误差而盲目增加阶数。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

使用多项式特征

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通