机器学习与深度学习 / 系统课时

构建线性回归模型

构建线性回归模型

线性回归可以直接用一个只有 1 个神经元的 Dense 层实现:输入特征经过权重和偏置得到连续预测值,再用均方误差训练。完成本课后,你会得到一个能拟合 y=3x+2y=3x+2 的最小 Keras 模型,并能从训练结果读出权重与偏置的业务含义。

学习目标

  • 用 tf.keras.layers.Dense(1) 构建单变量线性回归模型。
  • 理解预测公式 y^=wx+b\hat{y}=wx+b 中权重 ww 与偏置 bb 的作用。
  • 训练模型并通过参数和新样本预测检查是否拟合正确。

线性回归在网络里是什么

单变量线性回归的预测只有一条公式:y^=wx+b\hat{y}=wx+b。在 Keras 中,Dense(1) 正好保存一个权重和一个偏置;不设置激活函数时,输出保持线性,因此它与传统线性回归的模型形式一致。

假设训练数据满足 y=3x+2y=3x+2。理想模型应学到 weight≈3、bias≈2。这意味着输入每增加 1,预测值增加约 3;当输入为 0 时,预测值约为 2。若输入事先做过标准化,权重解释对应的是标准化后的特征尺度,不能直接当成原始单位的增量。

用 Dense(1) 拟合直线

下面示例适用于 TensorFlow 2.x。数据取 x=-2,-1,0,1,2,目标严格按 y=3x+2y=3x+2 生成。使用零初始化、整批训练和关闭 shuffle,可以让这个教学例子的收敛过程更容易复现。

python
import numpy as np
import tensorflow as tf

x = np.array([[-2.0], [-1.0], [0.0], [1.0], [2.0]], dtype=np.float32)
y = np.array([[-4.0], [-1.0], [2.0], [5.0], [8.0]], dtype=np.float32)

model = tf.keras.Sequential([
    tf.keras.Input(shape=(1,)),
    tf.keras.layers.Dense(
        1,
        kernel_initializer="zeros",
        bias_initializer="zeros",
    ),
])

model.compile(
    optimizer=tf.keras.optimizers.SGD(learning_rate=0.05),
    loss="mse",
)

model.fit(
    x,
    y,
    epochs=100,
    batch_size=5,
    shuffle=False,
    verbose=0,
)

kernel, bias = model.layers[0].get_weights()
prediction = model.predict(
    np.array([[6.0]], dtype=np.float32),
    verbose=0,
)[0, 0]

print(f"weight={kernel[0, 0]:.3f}")
print(f"bias={bias[0]:.3f}")
print(f"x=6 prediction={prediction:.3f}")

预期输出

text
weight=3.000
bias=2.000
x=6 prediction=20.000

这里选择 learning_rate=0.05 是因为样本范围很小且已经围绕 0 对称;若特征值变成数百或数万,直接沿用这个学习率可能造成损失震荡或发散,应先缩放特征或降低学习率。

检查权重、偏置与预测

训练结束后不要只看 fit 是否执行完成,应至少检查三件事。第一,权重是否接近数据真实斜率 3;第二,偏置是否接近截距 2;第三,拿训练区间外的 x=6 做一次预测,结果应接近 20。三项同时成立,才能说明模型不仅记住了某个样本,而是学到了这条线性关系。

还可以用一个简单算例人工核对:若模型得到 w=2.9w=2.9、b=2.1b=2.1,当 x=6x=6 时预测为 2.9×6+2.1=19.52.9\times6+2.1=19.5。这个结果虽接近 20,但参数仍存在偏差;继续训练是否有意义,要结合验证集误差而不是只盯训练集。

什么时候单层线性模型不够

Dense(1) 只能表示线性关系。若数据大致满足 y=x2y=x^2,无论训练多久,一条直线都无法同时贴合两端和中间区域;此时训练损失会停在明显高于噪声水平的位置,残差也会呈现有规律的弯曲,而不是随机散布。

遇到这种情况,先确认问题确实非线性,再增加隐藏层或做特征变换。例如把 x2x^2 作为额外输入后,线性模型也能拟合二次关系。不要用“把 epoch 从 100 提到 10000”来弥补模型表达能力不足,因为优化次数不会改变模型只能表示直线这一事实。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

构建线性回归模型

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通