机器学习与深度学习 / 系统课时
构建线性回归模型
构建线性回归模型
线性回归可以直接用一个只有 1 个神经元的 Dense 层实现:输入特征经过权重和偏置得到连续预测值,再用均方误差训练。完成本课后,你会得到一个能拟合 的最小 Keras 模型,并能从训练结果读出权重与偏置的业务含义。
学习目标
- 用
tf.keras.layers.Dense(1)构建单变量线性回归模型。 - 理解预测公式 中权重 与偏置 的作用。
- 训练模型并通过参数和新样本预测检查是否拟合正确。
线性回归在网络里是什么
单变量线性回归的预测只有一条公式:。在 Keras 中,Dense(1) 正好保存一个权重和一个偏置;不设置激活函数时,输出保持线性,因此它与传统线性回归的模型形式一致。
假设训练数据满足 。理想模型应学到 weight≈3、bias≈2。这意味着输入每增加 1,预测值增加约 3;当输入为 0 时,预测值约为 2。若输入事先做过标准化,权重解释对应的是标准化后的特征尺度,不能直接当成原始单位的增量。
用 Dense(1) 拟合直线
下面示例适用于 TensorFlow 2.x。数据取 x=-2,-1,0,1,2,目标严格按 生成。使用零初始化、整批训练和关闭 shuffle,可以让这个教学例子的收敛过程更容易复现。
import numpy as np
import tensorflow as tf
x = np.array([[-2.0], [-1.0], [0.0], [1.0], [2.0]], dtype=np.float32)
y = np.array([[-4.0], [-1.0], [2.0], [5.0], [8.0]], dtype=np.float32)
model = tf.keras.Sequential([
tf.keras.Input(shape=(1,)),
tf.keras.layers.Dense(
1,
kernel_initializer="zeros",
bias_initializer="zeros",
),
])
model.compile(
optimizer=tf.keras.optimizers.SGD(learning_rate=0.05),
loss="mse",
)
model.fit(
x,
y,
epochs=100,
batch_size=5,
shuffle=False,
verbose=0,
)
kernel, bias = model.layers[0].get_weights()
prediction = model.predict(
np.array([[6.0]], dtype=np.float32),
verbose=0,
)[0, 0]
print(f"weight={kernel[0, 0]:.3f}")
print(f"bias={bias[0]:.3f}")
print(f"x=6 prediction={prediction:.3f}")预期输出
weight=3.000
bias=2.000
x=6 prediction=20.000这里选择 learning_rate=0.05 是因为样本范围很小且已经围绕 0 对称;若特征值变成数百或数万,直接沿用这个学习率可能造成损失震荡或发散,应先缩放特征或降低学习率。
检查权重、偏置与预测
训练结束后不要只看 fit 是否执行完成,应至少检查三件事。第一,权重是否接近数据真实斜率 3;第二,偏置是否接近截距 2;第三,拿训练区间外的 x=6 做一次预测,结果应接近 20。三项同时成立,才能说明模型不仅记住了某个样本,而是学到了这条线性关系。
还可以用一个简单算例人工核对:若模型得到 、,当 时预测为 。这个结果虽接近 20,但参数仍存在偏差;继续训练是否有意义,要结合验证集误差而不是只盯训练集。
什么时候单层线性模型不够
Dense(1) 只能表示线性关系。若数据大致满足 ,无论训练多久,一条直线都无法同时贴合两端和中间区域;此时训练损失会停在明显高于噪声水平的位置,残差也会呈现有规律的弯曲,而不是随机散布。
遇到这种情况,先确认问题确实非线性,再增加隐藏层或做特征变换。例如把 作为额外输入后,线性模型也能拟合二次关系。不要用“把 epoch 从 100 提到 10000”来弥补模型表达能力不足,因为优化次数不会改变模型只能表示直线这一事实。