高等数学 / 系统课时

两层神经网络求导

两层神经网络求导

本课对一个“线性层—ReLU—线性层—均方误差”网络执行完整前向与反向传播。你将沿计算图逐层传递梯度,并用数值差分核对手工公式是否正确。

学习目标

  • 写出两层网络前向传播的矩阵表达式
  • 按链式法则计算权重、偏置和输入梯度
  • 使用数值梯度检查反向传播结果

网络结构与维度

设批量输入为 X∈RB×DX\in\mathbb{R}^{B\times D},隐藏层宽度为 HH,输出维度为 OO。本课使用以下前向过程:

Z1=XW1+b1Z_1=XW_1+b_1
A1=ReLU⁡(Z1)A_1=\operatorname{ReLU}(Z_1)
Y^=A1W2+b2\hat{Y}=A_1W_2+b_2
L=12BO∥Y^−Y∥F2L=\frac{1}{2BO}\lVert\hat{Y}-Y\rVert_F^2

损失是所有 BOBO 个残差元素的平方均值再乘以 1/21/2,∥⋅∥F\|\cdot\|_F 是 Frobenius 范数。其中 W1W_1 的形状为 D×HD\times H,W2W_2 的形状为 H×OH\times O。偏置会沿批量维广播,但反向传播时必须把各样本贡献沿批量维求和。

两层神经网络前向与反向计算图

这张计算图的核心不是记忆所有公式,而是保存每一步前向输入,并在反向时使用“上游梯度乘局部导数”。矩阵乘法还需同时检查乘法顺序和转置位置。

从损失开始反向传播

令输出层上游梯度为:

GY^=Y^−YBOG_{\hat{Y}}=\frac{\hat{Y}-Y}{BO}

第二个线性层的参数梯度与传给隐藏层的梯度分别为:

∂L∂W2=A1TGY^,∂L∂b2=∑n=1BGY^(n)\frac{\partial L}{\partial W_2}=A_1^T G_{\hat{Y}},\qquad \frac{\partial L}{\partial b_2}=\sum_{n=1}^{B}G_{\hat{Y}}^{(n)}
GA1=GY^W2TG_{A_1}=G_{\hat{Y}}W_2^T

ReLU 在正区间导数为 1,在负区间导数为 0,因此它像一个门控器:

GZ1=GA1⊙1[Z1>0]G_{Z_1}=G_{A_1}\odot\mathbf{1}[Z_1>0]

继续经过第一个线性层即可得到:

∂L∂W1=XTGZ1,∂L∂b1=∑n=1BGZ1(n)\frac{\partial L}{\partial W_1}=X^T G_{Z_1},\qquad \frac{\partial L}{\partial b_1}=\sum_{n=1}^{B}G_{Z_1}^{(n)}

若还需要把梯度传到更早的网络,则有 GX=GZ1W1TG_X=G_{Z_1}W_1^T。

可运行反向传播示例

先用单样本展示中间量,再用双样本和双输出检查归一化及梯度。单样本网络包含两个隐藏单元。第一个单元激活,第二个单元因 Z1<0Z_1<0 被 ReLU 截断,因此第二列相关梯度应为 0。

python
import numpy as np


def forward(x, w1, b1, w2, b2):
    z1 = x @ w1 + b1
    a1 = np.maximum(z1, 0.0)
    return z1, a1, a1 @ w2 + b2


def backward(x, w1, w2, z1, a1, y_hat, y):
    g_y_hat = (y_hat - y) / y.size
    g_z1 = (g_y_hat @ w2.T) * (z1 > 0)
    return (
        g_z1 @ w1.T,
        x.T @ g_z1,
        g_z1.sum(axis=0, keepdims=True),
        a1.T @ g_y_hat,
        g_y_hat.sum(axis=0, keepdims=True),
    )


def loss(inputs, target):
    return 0.5 * np.mean((forward(*inputs)[2] - target) ** 2)


def difference(inputs, target, position, index, step=1e-5):
    plus, minus = list(inputs), list(inputs)
    plus[position] = inputs[position].copy()
    minus[position] = inputs[position].copy()
    plus[position][index] += step
    minus[position][index] -= step
    return (loss(plus, target) - loss(minus, target)) / (2 * step)


x = np.array([[1.0, -2.0]])
w1 = np.array([[0.5, -0.3], [-0.8, 0.2]])
b1 = np.array([[0.1, -0.1]])
w2 = np.array([[0.7], [-1.2]])
b2 = np.array([[0.05]])
y = np.array([[1.0]])

inputs = (x, w1, b1, w2, b2)
z1, a1, y_hat = forward(*inputs)
dx, dw1, db1, dw2, db2 = backward(x, w1, w2, z1, a1, y_hat, y)
numeric_grad = difference(inputs, y, 1, (0, 0))

print("z1:", np.round(z1, 4))
print("a1:", np.round(a1, 4))
print("y_hat:", np.round(y_hat, 4))
print("loss:", round(float(loss(inputs, y)), 6))
print("dw2:", np.round(dw2, 4))
print("dw1:", np.round(dw1, 4))
print("db1:", np.round(db1, 4))
print("dx:", np.round(dx, 4))
print("gradient_check:", round(float(numeric_grad), 6), round(float(dw1[0, 0]), 6))

x = np.array([[1.0, -2.0], [0.5, 1.0]])
w2 = np.array([[0.7, 0.4], [-1.2, 0.3]])
b2 = np.array([[0.05, -0.02]])
y = np.array([[1.0, 0.3], [-0.1, 0.2]])
inputs = (x, w1, b1, w2, b2)
z1, a1, y_hat = forward(*inputs)
grads = backward(x, w1, w2, z1, a1, y_hat, y)
for position, gradient in enumerate(grads):
    numerical = np.empty_like(gradient)
    for index in np.ndindex(gradient.shape):
        numerical[index] = difference(inputs, y, position, index)
    np.testing.assert_allclose(gradient, numerical, atol=1e-9, rtol=1e-7)

print("双样本双输出: 全部梯度通过")

预期输出

text
z1: [[ 2.2 -0.8]]
a1: [[2.2 0. ]]
y_hat: [[1.59]]
loss: 0.17405
dw2: [[1.298]
 [0.   ]]
dw1: [[ 0.413  0.   ]
 [-0.826  0.   ]]
db1: [[0.413 0.   ]]
dx: [[ 0.2065 -0.3304]]
gradient_check: 0.413 0.413
双样本双输出: 全部梯度通过

解析梯度与数值梯度一致,说明 W1[0,0]W_1[0,0] 的反向公式正确。第二个隐藏单元未激活,所以 dw1 第二列和 dw2 第二行均为 0,这正是 ReLU 门控的直接结果。

易错点与验证顺序

求导时先检查每个张量形状,再检查转置。若 XX 是 B×DB\times D、GZ1G_{Z_1} 是 B×HB\times H,则只有 XTGZ1X^T G_{Z_1} 才能得到与 W1W_1 相同的 D×HD\times H 形状。

偏置梯度不是直接复制某个样本梯度,而是沿批量维求和。本课按全部输出元素平均,分母是 BOBO;若改为先对每个样本的输出求和再做批量平均,分母才是 BB。ReLU 在 0 点不可导,工程中通常约定导数为 0;做数值梯度检查时应避免参数恰好落在该折点附近。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

两层神经网络求导

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通