机器学习与深度学习 / 系统课时

认识神经元与网络层

认识神经元与网络层

神经元把输入做加权求和、加上偏置,再经过激活函数产生输出;网络层则把许多神经元按张量形状连接起来。读完本节,你可以手算一个神经元、计算全连接层参数量,并在 TensorFlow 中搭出对应的最小网络。

学习目标

  • 手算加权求和、偏置与激活函数的输出。
  • 根据输入维度和神经元数量计算 Dense 层参数量与张量形状。
  • 用 TensorFlow 构建一个多层全连接网络并核对输出形状。

一个神经元怎样得到输出

一个神经元先计算 z=∑iwixi+bz=\sum_i w_i x_i+b,再计算 a=ϕ(z)a=\phi(z)。取输入 x=(2,−1,0.5)x=(2,-1,0.5)、权重 w=(0.8,−0.4,1.2)w=(0.8,-0.4,1.2)、偏置 b=−0.3b=-0.3,则:

z=2×0.8+(−1)×(−0.4)+0.5×1.2−0.3=2.3z=2\times0.8+(-1)\times(-0.4)+0.5\times1.2-0.3=2.3

若激活函数是 ReLU,ϕ(z)=max⁡(0,z)\phi(z)=\max(0,z),输出就是 2.3;若改成 Sigmoid,输出约为 0.909。权重决定各输入贡献的方向与大小,偏置则整体平移触发位置,例如 ReLU 的分界点由 wTx+b=0w^Tx+b=0 决定。

做手算时可以逐项核对 wixiw_ix_i:本例三项贡献分别是 1.6、0.4、0.6,加上偏置 -0.3 后得到 2.3。出现结果符号异常时,先查负数输入与负权重相乘是否漏掉符号。

Dense 层把多个神经元并排计算

假设一条样本有 4 个特征,一个 Dense 层有 3 个神经元。按批量矩阵写法,输入形状为 B×4B\times4,权重矩阵为 4×34\times3,偏置向量长度为 3,输出形状就是 B×3B\times3。

参数量可以直接计算为“输入维度乘神经元数,再加每个神经元一个偏置”:

4×3+3=154\times3+3=15

因此 Dense(3) 接收 4 维输入时有 15 个可训练参数。把批量大小从 32 改成 64 只会把输出从 32×332\times3 变成 64×364\times3,不会改变这 15 个参数。

多层连接要同时看形状和参数量

考虑一个全连接网络:4 维输入依次进入 8、4、2 个神经元的三层。第一层参数量是 4×8+8=404\times8+8=40,第二层是 8×4+4=368\times4+4=36,第三层是 4×2+2=104\times2+2=10,总计 86。

层 输入形状 输出形状 参数量
Dense 8 B×4B\times4 B×8B\times8 40
Dense 4 B×8B\times8 B×4B\times4 36
Dense 2 B×4B\times4 B×2B\times2 10

全连接网络从输入特征到输出的层级数据流

这类图最适合检查“上一层输出维度是否等于下一层输入维度”。例如把第二层误写成需要 6 维输入,而上一层实际输出 8 维,就会在矩阵乘法阶段发生形状不匹配。

激活函数让多层网络不再只是一次线性变换

如果层与层之间完全没有非线性激活,多个仿射变换仍可合并成一个仿射变换。比如第一层 y=2x−1y=2x-1,第二层 z=3y+2z=3y+2,合并后就是 z=6x−1z=6x-1,堆两层并没有增加表达类型。

若在中间加入 ReLU,则变成 z=3max⁡(0,2x−1)+2z=3\max(0,2x-1)+2。当 x=−1x=-1 和 x=0x=0 时输出都为 2,而 x=1x=1 时输出为 5,这已经是分段函数,无法用同一条直线覆盖全部输入区间。

实践中隐藏层常用 ReLU 作为起点;输出层是否使用激活取决于任务。二分类常见 Sigmoid,多分类也可能直接输出 logits,再把 Softmax 交给损失函数处理,不能只看“最后一层有几个神经元”就决定激活。

在 TensorFlow 中对应到实际层

下面示例使用 TensorFlow 2.x 的 tf.keras 搭出刚才的 4→8→4→2 网络。Input(shape=(4,)) 固定每条样本 4 个特征,两个隐藏层使用 ReLU,最后一层保留 2 个未激活输出。

python
import tensorflow as tf

# 输入 4 个特征,隐藏层分别有 8 和 4 个神经元
model = tf.keras.Sequential([
    tf.keras.layers.Input(shape=(4,)),
    tf.keras.layers.Dense(8, activation="relu"),
    tf.keras.layers.Dense(4, activation="relu"),
    tf.keras.layers.Dense(2),
])

x = tf.zeros((1, 4))
y = model(x)

# 随机初始化会影响数值,但不会改变形状与参数量
print(y.shape)
print(model.count_params())

预期输出

text
(1, 2)
86

若输出形状不是 (1, 2),先检查输入最后一维是否为 4、最后一层 units 是否为 2;若参数量不是 86,按每层“输入维度 × units + units”逐层重算,比直接盯着模型摘要更容易定位哪一层写错。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

认识神经元与网络层

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通