机器学习与深度学习 / 系统课时
认识神经元与网络层
认识神经元与网络层
神经元把输入做加权求和、加上偏置,再经过激活函数产生输出;网络层则把许多神经元按张量形状连接起来。读完本节,你可以手算一个神经元、计算全连接层参数量,并在 TensorFlow 中搭出对应的最小网络。
学习目标
- 手算加权求和、偏置与激活函数的输出。
- 根据输入维度和神经元数量计算 Dense 层参数量与张量形状。
- 用 TensorFlow 构建一个多层全连接网络并核对输出形状。
一个神经元怎样得到输出
一个神经元先计算 ,再计算 。取输入 、权重 、偏置 ,则:
若激活函数是 ReLU,,输出就是 2.3;若改成 Sigmoid,输出约为 0.909。权重决定各输入贡献的方向与大小,偏置则整体平移触发位置,例如 ReLU 的分界点由 决定。
做手算时可以逐项核对 :本例三项贡献分别是 1.6、0.4、0.6,加上偏置 -0.3 后得到 2.3。出现结果符号异常时,先查负数输入与负权重相乘是否漏掉符号。
Dense 层把多个神经元并排计算
假设一条样本有 4 个特征,一个 Dense 层有 3 个神经元。按批量矩阵写法,输入形状为 ,权重矩阵为 ,偏置向量长度为 3,输出形状就是 。
参数量可以直接计算为“输入维度乘神经元数,再加每个神经元一个偏置”:
因此 Dense(3) 接收 4 维输入时有 15 个可训练参数。把批量大小从 32 改成 64 只会把输出从 变成 ,不会改变这 15 个参数。
多层连接要同时看形状和参数量
考虑一个全连接网络:4 维输入依次进入 8、4、2 个神经元的三层。第一层参数量是 ,第二层是 ,第三层是 ,总计 86。
| 层 | 输入形状 | 输出形状 | 参数量 |
|---|---|---|---|
| Dense 8 | 40 | ||
| Dense 4 | 36 | ||
| Dense 2 | 10 |

这类图最适合检查“上一层输出维度是否等于下一层输入维度”。例如把第二层误写成需要 6 维输入,而上一层实际输出 8 维,就会在矩阵乘法阶段发生形状不匹配。
激活函数让多层网络不再只是一次线性变换
如果层与层之间完全没有非线性激活,多个仿射变换仍可合并成一个仿射变换。比如第一层 ,第二层 ,合并后就是 ,堆两层并没有增加表达类型。
若在中间加入 ReLU,则变成 。当 和 时输出都为 2,而 时输出为 5,这已经是分段函数,无法用同一条直线覆盖全部输入区间。
实践中隐藏层常用 ReLU 作为起点;输出层是否使用激活取决于任务。二分类常见 Sigmoid,多分类也可能直接输出 logits,再把 Softmax 交给损失函数处理,不能只看“最后一层有几个神经元”就决定激活。
在 TensorFlow 中对应到实际层
下面示例使用 TensorFlow 2.x 的 tf.keras 搭出刚才的 4→8→4→2 网络。Input(shape=(4,)) 固定每条样本 4 个特征,两个隐藏层使用 ReLU,最后一层保留 2 个未激活输出。
import tensorflow as tf
# 输入 4 个特征,隐藏层分别有 8 和 4 个神经元
model = tf.keras.Sequential([
tf.keras.layers.Input(shape=(4,)),
tf.keras.layers.Dense(8, activation="relu"),
tf.keras.layers.Dense(4, activation="relu"),
tf.keras.layers.Dense(2),
])
x = tf.zeros((1, 4))
y = model(x)
# 随机初始化会影响数值,但不会改变形状与参数量
print(y.shape)
print(model.count_params())预期输出
(1, 2)
86若输出形状不是 (1, 2),先检查输入最后一维是否为 4、最后一层 units 是否为 2;若参数量不是 86,按每层“输入维度 × units + units”逐层重算,比直接盯着模型摘要更容易定位哪一层写错。