机器学习与深度学习 / 系统课时

认识神经元与网络层

认识神经元与网络层

神经网络并不是一组神秘的黑盒节点。单个神经元先对输入做加权求和并加上偏置,再经过激活函数;网络层只是把许多这样的计算并行组织起来。掌握输入形状、权重形状和参数量后,就能在搭建 PyTorch 模型时快速判断每一层是否连接正确。

学习目标

  • 能根据输入、权重和偏置计算一个神经元的输出
  • 能说明激活函数为什么让网络具备非线性表达能力
  • 能根据相邻层宽度判断权重矩阵形状和参数数量

单个神经元如何计算

一个包含两个输入的神经元可以写成:

z=w1x1+w2x2+bz=w_1x_1+w_2x_2+b
y=σ(z)y=\sigma(z)

其中 x1,x2x_1,x_2 是输入,w1,w2w_1,w_2 是权重,bb 是偏置,σ\sigma 是激活函数。设 x1=2x_1=2、x2=−1x_2=-1、w1=0.5w_1=0.5、w2=−0.25w_2=-0.25、b=0.1b=0.1,则加权和为 z=0.5×2+(−0.25)×(−1)+0.1=1.35z=0.5\times2+(-0.25)\times(-1)+0.1=1.35。

如果使用 ReLU,即 σ(z)=max⁡(0,z)\sigma(z)=\max(0,z),最终输出仍为 1.35。若把偏置从 0.1 改成 -1.5,新的 z=−0.05z=-0.05,经过 ReLU 后输出变为 0。偏置因此可以理解为整体移动神经元响应阈值的可学习参数,而不是可有可无的常数。

激活函数提供非线性

如果连续多层都只做线性变换,那么无论叠多少层,整体仍等价于一次线性变换。加入非线性激活后,网络才可以表示弯曲的决策边界和复杂函数。

激活函数 表达式或范围 常见使用位置
ReLU max⁡(0,z)\max(0,z) 隐藏层的常见默认选择
Sigmoid 输出范围 (0,1)(0,1) 二分类概率或门控结构
Tanh 输出范围 (−1,1)(-1,1) 需要零中心有界输出的结构

例如输入 z=−2z=-2 时,ReLU 输出 0;输入 z=3z=3 时输出 3。这种分段行为使一组神经元能够组合出非线性函数。实际分类模型中,隐藏层常用 ReLU,而最终输出层是否使用激活函数要由损失函数决定;例如多分类训练配合交叉熵损失时,通常直接提供未归一化的 logits,而不是先对每个输出做 ReLU。

从神经元组成网络层

全连接层会让每个输出神经元读取上一层的全部输入。假设一条样本有 4 个特征,隐藏层包含 8 个神经元,那么这一层需要一个 8×48\times4 的权重矩阵和 8 个偏置;对于批量大小为 32 的输入,数据形状从 32×432\times4 变为 32×832\times8。

输入特征、隐藏层和输出层的连接及张量形状关系

如果输出层有 3 个神经元,下一层权重形状就是 3×83\times8,批量输出形状为 32×332\times3。这里的 32 是一次送入网络的样本数,不参与单个神经元权重数量的计算。

网络还可以按功能区分输入、隐藏和输出位置。输入端只是承载特征,不会因为有 4 个输入特征就自动产生 4 组可学习参数;真正的参数属于把上一层映射到下一层的权重和偏置。

用形状和参数量检查连接

层之间最容易出现的错误是把输入特征数和输出神经元数写反。对于从 4 个输入映射到 8 个输出的全连接层,参数量应为 4×8+8=404\times8+8=40;从 8 个隐藏单元映射到 3 个输出时,参数量为 8×3+3=278\times3+3=27,两层合计 67 个可学习参数。

可以用三个数字快速检查设计:上一层输出宽度必须等于下一层输入宽度;权重参数量等于输入宽度乘输出宽度;若启用偏置,还要再加上输出宽度。对于形状 32×432\times4 的批量输入,经过宽度为 8 和 3 的两层后,应依次得到 32×832\times8 和 32×332\times3。如果中间出现 32×432\times4 直接与需要 8 个输入特征的层相连,就说明网络维度没有对齐。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

认识神经元与网络层

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通