机器学习与深度学习 / 系统课时
使用全连接层
使用全连接层
Dense 是 Keras 中最常用的全连接层:它把输入最后一个维度线性映射到 units 个输出,再可选地应用激活函数。掌握输入输出形状、权重矩阵尺寸和参数量公式后,你可以在搭模型前就估算层的规模,并快速发现维度理解错误。
学习目标
- 根据输入最后一维和
units判断 Dense 的输出形状。 - 用公式计算
kernel、bias与总参数量。 - 为回归、二分类和多分类输出选择与损失函数一致的激活方式。
Dense 实际做了什么
对二维输入 x,Dense 的核心计算可以写成 。若输入形状是 (batch, d),设置 units=u 后,权重矩阵形状为 (d, u),偏置形状为 (u,),输出形状变成 (batch, u);batch 大小不会影响参数量。
例如输入 (32, 4) 经过 Dense(3) 后输出 (32, 3)。这里每条样本的 4 个特征都会连接到 3 个输出单元,因此 kernel 一共有 4×3=12 个权重;默认 use_bias=True,还会增加 3 个偏置。
参数量怎么计算
开启偏置时,Dense 参数量为 ;关闭偏置时则是 。参数量只由输入最后一维与 units 决定,与 batch 大小无关。
输入最后一维 d |
units |
use_bias |
参数量 |
|---|---|---|---|
| 4 | 3 | True |
15 |
| 128 | 64 | True |
8256 |
| 128 | 64 | False |
8192 |
因此把 Dense(64) 接在 128 维特征后时,默认会新增 8256 个可训练参数。若参数量远超预期,先检查上一层最后一维是否比你以为的更大,而不是先怀疑 batch size。
激活函数与输出层要配套
activation=None 表示不额外应用非线性,也就是线性输出。隐藏层常用 relu;回归末层通常保留线性输出;分类末层则要让激活方式与损失函数的 from_logits 设置一致,否则数值含义会冲突。
| 任务 | Dense 写法 | 常见损失搭配 |
|---|---|---|
| 回归一个连续值 | Dense(1) |
MeanSquaredError() |
| 二分类概率 | Dense(1, activation="sigmoid") |
BinaryCrossentropy(from_logits=False) |
| K 类概率 | Dense(K, activation="softmax") |
SparseCategoricalCrossentropy(from_logits=False) |
| 输出 logits | Dense(K) |
对应交叉熵设置 from_logits=True |
用代码核对形状和参数
下面把权重初始化成 1、偏置初始化成 0,只为让结果可手算。第一条样本四个特征之和为 10,因此三个输出都是 10;第二条样本之和为 2,经过 ReLU 后仍为 2。
import tensorflow as tf
dense = tf.keras.layers.Dense(
units=3,
activation="relu",
use_bias=True,
kernel_initializer="ones",
bias_initializer="zeros",
)
x = tf.constant([
[1.0, 2.0, 3.0, 4.0],
[-1.0, 0.0, 1.0, 2.0],
])
y = dense(x)
print("output_shape:", y.shape)
print("kernel_shape:", dense.kernel.shape)
print("bias_shape:", dense.bias.shape)
print("params:", dense.count_params())
print("output:")
print(y.numpy())预期输出:
output_shape: (2, 3)
kernel_shape: (4, 3)
bias_shape: (3,)
params: 15
output:
[[10. 10. 10.]
[ 2. 2. 2.]]生产模型通常保留 Dense 默认的 glorot_uniform 权重初始化;这里使用全 1 仅用于验证计算关系。实际建模时可用 layer.count_params() 与 layer.kernel.shape 快速核对你手算的参数量。
高维输入不会被自动展平
Dense 对三维及更高维输入时,只变换最后一个轴,前面的维度保持不变。例如输入 (32, 10, 64) 经过 Dense(128) 会得到 (32, 10, 128),而不是 (32, 128);参数量仍按最后一维计算,为 64×128+128=8320。
如果你的目标是先把 (10, 64) 合成 640 维再做全连接,应显式使用 Flatten() 后再接 Dense。反过来,序列模型希望每个时间步独立做同一组线性映射时,直接让 Dense 接收三维张量正是合适的行为。