机器学习与深度学习 / 系统课时

理解前向传播

理解前向传播

前向传播解决的是“给定一批输入,神经网络怎样一步步算出预测值”。你会从一个两输入神经元开始手算,再追踪多层张量形状,最后用 TensorFlow 对照验证,能看懂模型从输入到输出的整条计算链。

学习目标

  • 能按权重、偏置和激活函数手算一个神经元的输出。
  • 能根据批次大小和层宽判断每一层张量形状。
  • 能用 TensorFlow 复算同一组数值,并定位常见的形状与激活错误。

单个神经元先做线性组合

一个神经元先计算加权和,再把结果交给激活函数。设输入为 x1=1x_1=1、x2=2x_2=2,权重为 w1=0.5w_1=0.5、w2=1.0w_2=1.0,偏置 b=0.1b=0.1,则线性部分为 z=1×0.5+2×1.0+0.1=2.6z=1\times0.5+2\times1.0+0.1=2.6。若激活函数是 ReLU,输出就是 a=max(0,2.6)=2.6a=max(0,2.6)=2.6。

把第二组权重换成 w1=−1.0w_1=-1.0、w2=0.5w_2=0.5,偏置改为 −0.2-0.2,得到 z=−1+1−0.2=−0.2z=-1+1-0.2=-0.2。ReLU 会把它截成 0。这个算例说明:权重和偏置决定线性位置,激活函数决定哪些信号继续传到下一层。

多层网络要同时追踪数值和形状

以批次大小 32、每条样本 4 个特征为例,输入形状是 [32, 4]。第一层 Dense 有 8 个单元,权重矩阵形状必须是 [4, 8],输出得到 [32, 8];第二层有 3 个单元,权重是 [8, 3],最终输出为 [32, 3]。

位置 输入形状 参数形状 输出形状
Dense 1 [32, 4] W:[4,8]、b:[8] [32, 8]
Dense 2 [32, 8] W:[8,3]、b:[3] [32, 3]

前向传播从输入矩阵到线性变换、激活函数和输出预测的数据流

如果矩阵内维不一致,例如把第一层权重误写成 [5,8],[32,4] 无法与 [5,8] 相乘。排查前向传播时,先核对“上一层输出最后一维 = 下一层权重第一维”,比盯着整张网络更快。

用 TensorFlow 对照手算结果

下面用同一条输入一次性计算两个神经元。矩阵每一列对应一个神经元的权重,tf.matmul 负责批量矩阵乘法,随后加偏置并应用 ReLU。

python
import tensorflow as tf

x = tf.constant([[1.0, 2.0]])
w = tf.constant([
    [0.5, -1.0],
    [1.0,  0.5],
])
b = tf.constant([0.1, -0.2])

z = tf.matmul(x, w) + b
a = tf.nn.relu(z)

print(z.numpy())
print(a.numpy())

预期输出:

text
[[ 2.6 -0.2]]
[[2.6 0. ]]

第一列对应前面的 2.62.6,第二列对应 −0.2-0.2,ReLU 后变成 0。若你的手算与程序不同,优先检查权重矩阵的行列含义、偏置是否按最后一维广播,以及激活函数是否放在正确的线性变换之后。

前向传播只计算预测,不负责改参数

前向传播阶段会读取当前权重并生成预测,但不会因为预测错误自动修改参数。训练时通常先前向计算 y_pred,再计算损失,之后才由自动微分得到梯度并由优化器更新权重。因此调试模型时,可以把“前向数值是否合理”和“参数是否成功更新”分开检查。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

理解前向传播

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通