机器学习与深度学习 / 系统课时
使用多项式特征
使用多项式特征
当训练数据呈现弯曲趋势时,普通线性回归拟合出的直线可能产生系统性偏差。本课通过五组二次关系样本,使用多项式特征和 Pipeline 拟合曲线、验证预测结果,并掌握阶数选择与外推风险的判断方法。
学习目标
- 理解多项式特征如何通过平方项和交互项表达非线性关系
- 使用
PolynomialFeatures和Pipeline完成特征展开、训练与预测 - 根据验证结果选择多项式阶数,避免过拟合与不可靠的外推
为什么能够拟合曲线
普通单变量线性回归的预测形式是 ,只能表示直线。如果数据遵循先下降后上升的趋势,一条直线就难以准确拟合。
多项式特征通过增加平方项、立方项等新特征,让线性回归能够表达非线性关系。例如,二次多项式模型为:
对于单个输入 ,PolynomialFeatures(degree=2, include_bias=False) 会生成 和 两列。例如,原始输入 展开后得到 。
模型仍然通过线性回归学习系数,只是输入特征增加了非线性变换。因此,它对模型系数保持线性,却能够对原始输入拟合曲线。

对于多个原始特征,多项式展开还会产生交互项。例如,两个输入特征 、 在二阶展开后,可以得到 、、、 和 。交互项让模型表达两个特征共同变化带来的影响。
完整示例
使用 Pipeline 将多项式特征展开与线性回归连接起来,可以保证训练和预测阶段采用相同的特征转换规则,避免手动展开时出现列数或顺序不一致的问题。
先确保 Python 环境已安装 numpy 和 scikit-learn,再将下面的代码保存为 polynomial_demo.py。
import numpy as np
from sklearn.linear_model import LinearRegression
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import PolynomialFeatures
x = np.array([[-2], [-1], [0], [1], [2]], dtype=float)
y = np.array([4, 1, 0, 1, 4], dtype=float)
pipeline = Pipeline([
("poly", PolynomialFeatures(degree=2, include_bias=False)),
("model", LinearRegression()),
])
# Pipeline 保证训练和预测使用相同的特征展开规则
pipeline.fit(x, y)
print("x=3 的预测:", round(pipeline.predict([[3]])[0], 1))这里的五组样本满足 。原始输入只有一列,经过二次多项式展开后变成两列,分别对应一次项和平方项。
参数 degree=2 表示最高生成二次特征;include_bias=False 表示不额外生成全为 1 的常数列,因为 LinearRegression 默认已经通过截距参数处理常数项。
pipeline.fit(x, y) 会先学习并应用特征展开,再训练线性回归模型。调用 pipeline.predict([[3]]) 时,Pipeline 自动将输入 3 展开为一次项 3 和平方项 9,然后完成预测。
运行命令:
python polynomial_demo.py预期输出:
x=3 的预测: 9.0这个结果说明模型学到了样本中的二次关系。对于这组无噪声数据,拟合曲线为 ,所以输入 3 时得到预测值 9。
如何验证拟合效果
验证多项式模型时,不能只看训练误差,还要观察模型是否能够正确预测未参与训练的数据。
对于当前示例,可以先检查训练区间内的输入: 对应目标值 1, 对应目标值 4。二次模型能够准确拟合这两个样本,但这只能证明它适合当前构造的数据。
实际项目中,应先划分训练集和测试集,再只使用训练数据完成特征处理、模型训练和超参数选择。最后用保留的测试集计算 MAE、RMSE 或 ,判断模型能否泛化到新数据。
阶数选择与过拟合
多项式阶数应在训练集内部通过交叉验证选择。高阶模型可能贴合每个训练点,却在样本之间剧烈波动;特征较多时,展开后的列数也会快速增长。
例如,对于当前的二次关系,degree=1 只能学习直线,由于样本关于零点对称,最终拟合为 ,无法捕捉 U 形趋势。degree=2 则能够准确表达这种关系。继续增加到四阶、五阶,并不意味着预测效果一定更好。
实际使用时,可以通过 GridSearchCV 搜索 Pipeline 中的 poly__degree 参数,例如候选阶数为 1、2、3。比较交叉验证误差,优先选择验证表现良好且阶数较低的模型,再使用独立测试集进行最终评估。
选择阶数还需要注意两个边界:
- 样本数量不足:高阶模型需要估计更多系数,少量样本容易导致拟合不稳定。本例只有五个样本,仅用于演示特征展开,不适合作为可靠的阶数选择实验。
- 特征维度较高:多变量展开会产生大量平方项和交互项,增加计算成本与过拟合风险。必要时可降低阶数,并考虑通过正则化约束模型系数。
因此,优先从较低阶数开始,使用训练集内部的交叉验证比较效果,并关注独立测试集误差。如果二次模型已经能准确描述数据趋势,就不必为了进一步降低训练误差而盲目增加阶数。