高等数学 / 系统课时

多元链式法则

多元链式法则

本课解决“变量经过多层计算后如何求导”的问题。核心方法是沿每条依赖路径相乘局部导数,再把所有路径的贡献相加,这正是计算图和反向传播的数学基础。

学习目标

  • 识别多层变量之间的依赖路径
  • 正确计算复合函数的偏导数
  • 理解链式法则与反向传播的联系

先画清变量依赖关系

设最终结果由两个中间变量决定:

z=f(u,v),u=g(x,y),v=h(x,y)z=f(u,v),\quad u=g(x,y),\quad v=h(x,y)

此时 xx 会通过两条路径影响 zz:x→u→zx\to u\to z 和 x→v→zx\to v\to z。求导时不能只选其中一条,而要计算所有路径的贡献。

多元链式法则计算图

标量输出的链式法则

若各映射在相应点可微,固定 yy 后对 xx 求偏导得到

∂z∂x=∂z∂u∂u∂x+∂z∂v∂v∂x\frac{\partial z}{\partial x} = \frac{\partial z}{\partial u}\frac{\partial u}{\partial x} + \frac{\partial z}{\partial v}\frac{\partial v}{\partial x}

对 yy 同理:

∂z∂y=∂z∂u∂u∂y+∂z∂v∂v∂y\frac{\partial z}{\partial y} = \frac{\partial z}{\partial u}\frac{\partial u}{\partial y} + \frac{\partial z}{\partial v}\frac{\partial v}{\partial y}

外层的两个偏导在当前 (u,v)(u,v) 上求值,内层的偏导在当前 (x,y)(x,y) 上求值。每一项对应一条从输入变量到输出变量的路径。路径内部的局部导数相乘,多条路径之间相加。只要依赖图没有遗漏,这个规则可以继续扩展到更多中间变量和更深层级。

主例子:两条路径共同贡献

设

u=x+y,v=xy,z=u2+3vu=x+y,\quad v=xy,\quad z=u^2+3v

先计算局部导数:

∂z∂u=2u,∂z∂v=3\frac{\partial z}{\partial u}=2u,\quad \frac{\partial z}{\partial v}=3

以及

∂u∂x=1,∂v∂x=y\frac{\partial u}{\partial x}=1,\quad \frac{\partial v}{\partial x}=y

因此

∂z∂x=2u⋅1+3⋅y\frac{\partial z}{\partial x}=2u\cdot 1+3\cdot y

在 (x,y)=(1,2)(x,y)=(1,2) 处,u=3u=3,所以

∂z∂x=2×3+3×2=12\frac{\partial z}{\partial x}=2\times 3+3\times 2=12

同理,

∂z∂y=2u⋅1+3⋅x=9\frac{\partial z}{\partial y}=2u\cdot 1+3\cdot x=9

把原式展开为 z=(x+y)2+3xyz=(x+y)^2+3xy 后直接求导,也会得到相同结果。这种展开验证适合简单表达式,但在深层模型中会迅速变得冗长,因此通常保留计算图并逐层求局部导数。

用矩阵形式组织多个变量

若把梯度写成列向量,令

q=[uv],x=[xy]\boldsymbol{q}= \begin{bmatrix} u\\ v \end{bmatrix}, \quad \boldsymbol{x}= \begin{bmatrix} x\\ y \end{bmatrix}

则链式法则可写为

∇xz=Jq(x)T∇qz\nabla_{\boldsymbol{x}}z = J_{\boldsymbol{q}}(\boldsymbol{x})^T \nabla_{\boldsymbol{q}}z

这里使用输出为行、输入为列的雅可比矩阵。一般地,若有 nn 个输入和 mm 个中间变量,则 JqJ_q 是 m×nm\times n,转置后乘以 mm 维的列梯度 ∇qz\nabla_q z,得到 nn 维列梯度 ∇xz\nabla_x z。矩阵形式本质上没有改变规则,只是一次性整理了所有路径的乘法与加法。使用不同教材或框架时,要先确认梯度采用行向量还是列向量约定。

与反向传播的关系

反向传播先在前向计算中保存必要的中间值,再从输出开始反向传递梯度。每经过一条边,就乘以该边对应的局部导数;当同一变量通过多条路径影响结果时,就把回传梯度累加。

这种做法避免反复展开完整复合函数,也复用了中间计算结果。神经网络虽然层数很多,但每个节点只需知道自己的输入、输出和局部导数,因此可以模块化地完成求导。

常见错误

最常见的问题是漏掉一条依赖路径,例如只计算 x→u→zx\to u\to z,却忽略 x→v→zx\to v\to z。另一个错误是把局部导数代入错误的点:应先完成前向计算,得到当前样本下的 uu、vv,再在这些中间值上求局部导数。使用矩阵公式时,还要检查维度和转置是否与约定一致。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

多元链式法则

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通