高等数学 / 系统课时

反向传播推导

反向传播推导

本课用一个“单输入、单隐藏神经元、单输出”的网络完整推导梯度。你会看到链式法则如何把损失从输出端逐层传回,并最终得到每个权重与偏置的更新依据。

学习目标

  • 写出前向传播中各中间变量的计算关系
  • 用链式法则推导权重和偏置的梯度
  • 用数值程序验证手工推导结果

建立计算图与前向传播

设输入为 xx,真实标签为 yy。隐藏层和输出层都使用 Sigmoid 激活函数,损失函数使用平方误差:

z1=w1x+b1,a1=σ(z1)z_1=w_1x+b_1,\quad a_1=\sigma(z_1)
z2=w2a1+b2,y^=σ(z2)z_2=w_2a_1+b_2,\quad \hat{y}=\sigma(z_2)
L=12(y^−y)2L=\frac{1}{2}(\hat{y}-y)^2

前向传播按 x→z1→a1→z2→y^→Lx \rightarrow z_1 \rightarrow a_1 \rightarrow z_2 \rightarrow \hat{y} \rightarrow L 计算。反向传播则沿相反方向,把每个运算节点的局部导数逐段相乘。

简单神经网络的前向与反向传播

逐层推导参数梯度

先从损失对预测值的导数开始:

∂L∂y^=y^−y\frac{\partial L}{\partial \hat{y}}=\hat{y}-y

Sigmoid 的导数为 σ′(z)=σ(z)(1−σ(z))\sigma'(z)=\sigma(z)(1-\sigma(z)),因此输出层误差信号是:

δ2=∂L∂z2=(y^−y)y^(1−y^)\delta_2=\frac{\partial L}{\partial z_2}=(\hat{y}-y)\hat{y}(1-\hat{y})

因为 z2=w2a1+b2z_2=w_2a_1+b_2,输出层参数梯度为:

∂L∂w2=δ2a1,∂L∂b2=δ2\frac{\partial L}{\partial w_2}=\delta_2a_1,\quad \frac{\partial L}{\partial b_2}=\delta_2

梯度继续经过输出权重 w2w_2 和隐藏层激活函数,形成隐藏层误差信号:

δ1=∂L∂z1=δ2w2a1(1−a1)\delta_1=\frac{\partial L}{\partial z_1}=\delta_2w_2a_1(1-a_1)

再利用 z1=w1x+b1z_1=w_1x+b_1,得到:

∂L∂w1=δ1x,∂L∂b1=δ1\frac{\partial L}{\partial w_1}=\delta_1x,\quad \frac{\partial L}{\partial b_1}=\delta_1

偏置梯度不再乘输入,是因为仿射表达式对偏置的导数为 11。这里的误差信号以半平方误差为前提,换损失函数时要重新计算输出端的导数。整个过程可以概括为:接收上游梯度,乘当前节点的局部导数,再把结果传给更早的节点。

程序验证与易错点

下面的完整 Python 示例按上述公式计算前向结果和四个参数的梯度。

python
import math

def sigmoid(value: float) -> float:
    weight = math.exp(-abs(value))
    return 1.0 / (1.0 + weight) if value >= 0 else weight / (1.0 + weight)

x, y = 2.0, 1.0
w1, b1 = 0.5, 0.1
w2, b2 = -0.3, 0.2

# 前向传播保留中间值,供反向传播直接复用
z1 = w1 * x + b1
a1 = sigmoid(z1)
z2 = w2 * a1 + b2
y_hat = sigmoid(z2)
loss = 0.5 * (y_hat - y) ** 2

# 从输出层误差信号开始逐层反传
delta2 = (y_hat - y) * y_hat * (1.0 - y_hat)
grad_w2 = delta2 * a1
grad_b2 = delta2
delta1 = delta2 * w2 * a1 * (1.0 - a1)
grad_w1 = delta1 * x
grad_b1 = delta1

print(f"loss={loss:.6f}")
print(f"grad_w1={grad_w1:.6f}, grad_b1={grad_b1:.6f}")
print(f"grad_w2={grad_w2:.6f}, grad_b2={grad_b2:.6f}")

预期输出:

text
loss=0.128154
grad_w1=0.014227, grad_b1=0.007113
grad_w2=-0.094943, grad_b2=-0.126547

不要把反向传播和参数更新混为一步。反向传播只计算梯度,梯度下降再执行 θ←θ−η∇θL\theta \leftarrow \theta-\eta\nabla_\theta L。手工推导时也不要跳过中间变量;分别写出 z1z_1、a1a_1、z2z_2 和 y^\hat{y},能显著减少漏乘局部导数的错误。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

反向传播推导

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通