机器学习与深度学习 / 系统课时
理解前向传播
理解前向传播
前向传播解决的是“给定一批输入,神经网络怎样一步步算出预测值”。你会从一个两输入神经元开始手算,再追踪多层张量形状,最后用 TensorFlow 对照验证,能看懂模型从输入到输出的整条计算链。
学习目标
- 能按权重、偏置和激活函数手算一个神经元的输出。
- 能根据批次大小和层宽判断每一层张量形状。
- 能用 TensorFlow 复算同一组数值,并定位常见的形状与激活错误。
单个神经元先做线性组合
一个神经元先计算加权和,再把结果交给激活函数。设输入为 、,权重为 、,偏置 ,则线性部分为 。若激活函数是 ReLU,输出就是 。
把第二组权重换成 、,偏置改为 ,得到 。ReLU 会把它截成 0。这个算例说明:权重和偏置决定线性位置,激活函数决定哪些信号继续传到下一层。
多层网络要同时追踪数值和形状
以批次大小 32、每条样本 4 个特征为例,输入形状是 [32, 4]。第一层 Dense 有 8 个单元,权重矩阵形状必须是 [4, 8],输出得到 [32, 8];第二层有 3 个单元,权重是 [8, 3],最终输出为 [32, 3]。
| 位置 | 输入形状 | 参数形状 | 输出形状 |
|---|---|---|---|
| Dense 1 | [32, 4] |
W:[4,8]、b:[8] |
[32, 8] |
| Dense 2 | [32, 8] |
W:[8,3]、b:[3] |
[32, 3] |

如果矩阵内维不一致,例如把第一层权重误写成 [5,8],[32,4] 无法与 [5,8] 相乘。排查前向传播时,先核对“上一层输出最后一维 = 下一层权重第一维”,比盯着整张网络更快。
用 TensorFlow 对照手算结果
下面用同一条输入一次性计算两个神经元。矩阵每一列对应一个神经元的权重,tf.matmul 负责批量矩阵乘法,随后加偏置并应用 ReLU。
python
import tensorflow as tf
x = tf.constant([[1.0, 2.0]])
w = tf.constant([
[0.5, -1.0],
[1.0, 0.5],
])
b = tf.constant([0.1, -0.2])
z = tf.matmul(x, w) + b
a = tf.nn.relu(z)
print(z.numpy())
print(a.numpy())预期输出:
text
[[ 2.6 -0.2]]
[[2.6 0. ]]第一列对应前面的 ,第二列对应 ,ReLU 后变成 0。若你的手算与程序不同,优先检查权重矩阵的行列含义、偏置是否按最后一维广播,以及激活函数是否放在正确的线性变换之后。
前向传播只计算预测,不负责改参数
前向传播阶段会读取当前权重并生成预测,但不会因为预测错误自动修改参数。训练时通常先前向计算 y_pred,再计算损失,之后才由自动微分得到梯度并由优化器更新权重。因此调试模型时,可以把“前向数值是否合理”和“参数是否成功更新”分开检查。
按自己的节奏,确认真正理解。