高等数学 / 系统课时
链式法则
链式法则
复合函数把内层输出交给外层。求导时,要在内层实际输出处计算外层导数,再乘以内层导数。本课将建立“由外到内求导、沿路径连续相乘”的方法,并把它连接到反向传播。
学习目标
- 能识别复合函数的外层函数与内层函数
- 能计算两层及多层复合函数的导数
- 能解释反向传播中梯度逐层相乘的来源
链式法则与多层结构
设 ,。若 在 处可导,且 在 处可导,复合函数就在 处可导。当 发生微小变化时,它先引起 变化,再由 引起 变化,因此总变化率必须同时包含两段影响:
第一项表示外层函数对当前中间变量的敏感度,第二项表示中间变量对输入的敏感度。两者相乘,才是最终输出对原始输入的导数。

两层复合函数可以记成“外层导数乘内层导数”。例如 ,有:
若函数有更多层,例如 ,就沿唯一依赖路径连续相乘:
主示例与自检
求下面这个复合函数的导数。
的导数。令 ,则 。外层导数为 ,内层导数为 ,因此:
常见错误是只写 ,忘记继续乘内层导数 。外层导数还必须在原来的内层值处计算,不能把 错写成 。
完成后可从最外层向内画出依赖链,逐个核对每条边是否对应一个导数因子。因子数量通常与从输入到输出经过的可导变换数量一致,直到表达式回到原始变量 才算结束。
反向传播中的梯度传递
考虑一个最小计算链:
损失 对参数 的梯度为:
若 为 Sigmoid 函数,则:
在计算对 的偏导时固定 、 与目标 。下面的代码比较按链式法则算出的梯度与小步长中心差分。
python
import math
def forward(w, x, b, target):
z = w * x + b
prediction = 1 / (1 + math.exp(-z))
loss = (prediction - target) ** 2
return prediction, loss
w, x, b, target = 0.3, 2.0, 0.1, 1.0
prediction, _ = forward(w, x, b, target)
analytic = 2 * (prediction - target) * prediction * (1 - prediction) * x
step = 1e-5
_, loss_plus = forward(w + step, x, b, target)
_, loss_minus = forward(w - step, x, b, target)
numeric = (loss_plus - loss_minus) / (2 * step)
print(f"链式法则:{analytic:.6f}")
print(f"中心差分:{numeric:.6f}")
assert math.isclose(analytic, numeric, rel_tol=1e-7, abs_tol=1e-9)预期输出如下。
text
链式法则:-0.294268
中心差分:-0.294268上述例子只有一条从 通往损失的路径。若同一变量经过多条分支,例如 且 ,两条分支传回 的梯度分别为 和 ,相加后再乘 ,得到 。这种梯度累加会在后面的自动微分课程展开。
按自己的节奏,确认真正理解。