高等数学 / 系统课时

链式法则

链式法则

复合函数把内层输出交给外层。求导时,要在内层实际输出处计算外层导数,再乘以内层导数。本课将建立“由外到内求导、沿路径连续相乘”的方法,并把它连接到反向传播。

学习目标

  • 能识别复合函数的外层函数与内层函数
  • 能计算两层及多层复合函数的导数
  • 能解释反向传播中梯度逐层相乘的来源

链式法则与多层结构

设 u=g(x)u=g(x),y=f(u)y=f(u)。若 gg 在 xx 处可导,且 ff 在 g(x)g(x) 处可导,复合函数就在 xx 处可导。当 xx 发生微小变化时,它先引起 uu 变化,再由 uu 引起 yy 变化,因此总变化率必须同时包含两段影响:

dydx=dydu⋅dudx=f′(g(x))g′(x)\frac{dy}{dx}=\frac{dy}{du}\cdot\frac{du}{dx} =f'(g(x))g'(x)

第一项表示外层函数对当前中间变量的敏感度,第二项表示中间变量对输入的敏感度。两者相乘,才是最终输出对原始输入的导数。

链式法则与反向传播的双向路径

两层复合函数可以记成“外层导数乘内层导数”。例如 y=[g(x)]ny=[g(x)]^n,有:

y′=n[g(x)]n−1g′(x)y'=n[g(x)]^{n-1}g'(x)

若函数有更多层,例如 y=f(g(h(x)))y=f(g(h(x))),就沿唯一依赖路径连续相乘:

dydx=f′(g(h(x)))⋅g′(h(x))⋅h′(x)\frac{dy}{dx} =f'(g(h(x)))\cdot g'(h(x))\cdot h'(x)

主示例与自检

求下面这个复合函数的导数。

y=(3x2+1)5y=(3x^2+1)^5

的导数。令 u=3x2+1u=3x^2+1,则 y=u5y=u^5。外层导数为 5u45u^4,内层导数为 6x6x,因此:

y′=5u4⋅6x=30x(3x2+1)4y'=5u^4\cdot 6x=30x(3x^2+1)^4

常见错误是只写 5(3x2+1)45(3x^2+1)^4,忘记继续乘内层导数 6x6x。外层导数还必须在原来的内层值处计算,不能把 f′(g(x))f'(g(x)) 错写成 f′(x)f'(x)。

完成后可从最外层向内画出依赖链,逐个核对每条边是否对应一个导数因子。因子数量通常与从输入到输出经过的可导变换数量一致,直到表达式回到原始变量 xx 才算结束。

反向传播中的梯度传递

考虑一个最小计算链:

z=wx+b,y^=σ(z),L=(y^−t)2z=wx+b,\qquad \hat{y}=\sigma(z),\qquad L=(\hat{y}-t)^2

损失 LL 对参数 ww 的梯度为:

∂L∂w=∂L∂y^⋅∂y^∂z⋅∂z∂w\frac{\partial L}{\partial w} =\frac{\partial L}{\partial \hat{y}} \cdot\frac{\partial \hat{y}}{\partial z} \cdot\frac{\partial z}{\partial w}

若 σ\sigma 为 Sigmoid 函数,则:

∂L∂w=2(y^−t)⋅y^(1−y^)⋅x\frac{\partial L}{\partial w} =2(\hat{y}-t)\cdot\hat{y}(1-\hat{y})\cdot x

在计算对 ww 的偏导时固定 xx、bb 与目标 tt。下面的代码比较按链式法则算出的梯度与小步长中心差分。

python
import math


def forward(w, x, b, target):
    z = w * x + b
    prediction = 1 / (1 + math.exp(-z))
    loss = (prediction - target) ** 2
    return prediction, loss


w, x, b, target = 0.3, 2.0, 0.1, 1.0
prediction, _ = forward(w, x, b, target)
analytic = 2 * (prediction - target) * prediction * (1 - prediction) * x

step = 1e-5
_, loss_plus = forward(w + step, x, b, target)
_, loss_minus = forward(w - step, x, b, target)
numeric = (loss_plus - loss_minus) / (2 * step)

print(f"链式法则:{analytic:.6f}")
print(f"中心差分:{numeric:.6f}")
assert math.isclose(analytic, numeric, rel_tol=1e-7, abs_tol=1e-9)

预期输出如下。

text
链式法则:-0.294268
中心差分:-0.294268

上述例子只有一条从 ww 通往损失的路径。若同一变量经过多条分支,例如 L=u2+uL=u^2+u 且 u=wx+bu=wx+b,两条分支传回 uu 的梯度分别为 2u2u 和 11,相加后再乘 du/dw=xdu/dw=x,得到 (2u+1)x(2u+1)x。这种梯度累加会在后面的自动微分课程展开。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

链式法则

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通