高等数学 / 系统课时

前向模式自动微分

前向模式自动微分

前向模式自动微分沿程序的实际计算顺序,同时传播每个中间量的数值与导数。本课用一个可运行的双数示例说明其执行机制,并判断它为什么更适合输入维度较小、输出数量较多的计算任务。

学习目标

  • 理解“数值—切向量”成对传播的含义
  • 掌握前向模式计算雅可比向量积的过程
  • 判断前向模式适合的输入输出规模

核心机制:值与导数同步前进

设变量 xx 的当前值为 xx,沿某个输入方向的变化率为 x˙\dot{x}。前向模式把它表示为二元组 (x,x˙)(x,\dot{x})。程序执行普通运算时,不仅计算新值,也按链式法则立即计算新导数。

若中间量满足 z=g(u,v)z=g(u,v),传播规则为:

z˙=∂g∂uu˙+∂g∂vv˙\dot{z}=\frac{\partial g}{\partial u}\dot{u}+\frac{\partial g}{\partial v}\dot{v}

自动微分不需要先把整个函数化成符号表达式,也不是用微小扰动近似导数。它直接复用程序中的每一步运算,对可微运算按链式法则求导,避免有限差分的步长与截断误差。数值计算仍可能受舍入、上溢、下溢和数值消去影响。

前向模式中数值与切向量沿计算图同步传播

对向量函数 f:Rn→Rmf:\mathbb{R}^n\rightarrow\mathbb{R}^m,给输入种子方向 vv 后,一次前向传播得到 Jf(x)vJ_f(x)v。若把第 ii 个标准基向量作为种子,就得到雅可比矩阵的第 ii 列;求完整雅可比通常需要按输入维度重复传播。

以 f(x,y)=xy+sin⁡xf(x,y)=xy+\sin x 为例。求关于 xx 的偏导时设置 x˙=1,y˙=0\dot{x}=1,\dot{y}=0;求关于 yy 的偏导时设置 x˙=0,y˙=1\dot{x}=0,\dot{y}=1。两次计算使用相同表达式,只改变输入种子。

用双数完成一次前向传播

下面的 Dual 同时保存 value 和 tangent。乘法、加法与正弦运算都按链式法则返回新的双数,因此表达式写法与普通数值计算基本一致。

python
import math

class Dual:
    def __init__(self, value: float, tangent: float = 0.0):
        self.value = value
        self.tangent = tangent

    def __add__(self, other: "Dual") -> "Dual":
        return Dual(
            self.value + other.value,
            self.tangent + other.tangent,
        )

    def __mul__(self, other: "Dual") -> "Dual":
        # 乘法法则:(uv)' = u'v + uv'
        return Dual(
            self.value * other.value,
            self.tangent * other.value + self.value * other.tangent,
        )

    def sin(self) -> "Dual":
        # 正弦节点同步传播局部导数
        return Dual(
            math.sin(self.value),
            math.cos(self.value) * self.tangent,
        )

def function(x: Dual, y: Dual) -> Dual:
    return x * y + x.sin()

def derivative(seed_x: float, seed_y: float) -> Dual:
    x = Dual(2.0, seed_x)
    y = Dual(3.0, seed_y)
    return function(x, y)

if __name__ == "__main__":
    dx = derivative(1.0, 0.0)
    dy = derivative(0.0, 1.0)

    print(f"f(2, 3) = {dx.value:.6f}")
    print(f"df/dx = {dx.tangent:.6f}")
    print(f"df/dy = {dy.tangent:.6f}")

预期输出:

text
f(2, 3) = 6.909297
df/dx = 2.583853
df/dy = 2.000000

结果与解析导数 ∂f∂x=y+cos⁡x\frac{\partial f}{\partial x}=y+\cos x、∂f∂y=x\frac{\partial f}{\partial y}=x 一致。这里没有使用有限差分,因此不存在步长选择造成的截断误差,不过,中间运算和梯度计算仍采用有限精度。

适用规模与关键边界

前向模式的单次成本通常与一次原函数计算同阶,但一次只传播一个输入方向。当输入维度 nn 很小而输出维度 mm 很大时,少量传播就能获得需要的导数,常见于参数较少的物理模型、灵敏度分析和雅可比向量积计算。

若模型有数百万个参数、最终只产生一个标量损失,逐个输入方向传播会非常昂贵。此时反向模式能从一个输出出发,一次得到所有输入梯度,通常更合适。

前向模式中的“前向”指导数信息按计算顺序传播,不等同于神经网络只执行普通前向推理。种子也不必是标准基向量;给定任意方向 vv,一次传播就能得到 Jf(x)vJ_f(x)v。如果 vv 不是单位向量,它表示沿参数化路径 x+tvx+tv 对 tt 的导数。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

前向模式自动微分

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通