高等数学 / 系统课时

高阶自动微分

高阶自动微分

高阶自动微分是在一阶梯度之上继续求导,用于获得二阶导数、曲率信息和海森向量积。本课将说明它如何构建“梯度的计算图”,并通过代码验证二阶结果。

学习目标

  • 说明二阶导数与海森矩阵表达的曲率信息
  • 使用可微的一阶梯度继续计算二阶梯度
  • 理解海森向量积的计算方式和主要应用

从一阶梯度到高阶梯度

对标量函数 f(x)f(x),一阶导数描述局部变化率,二阶导数描述变化率本身如何变化。多变量函数的二阶偏导数组成海森矩阵 HH,它刻画不同方向上的局部曲率。

高阶自动微分并不是重新手写导数公式,而是让一阶梯度也保留计算历史。随后,自动微分系统把这个梯度表达式当作新的计算图,再执行一次求导。

高阶求导如何构图

普通反向传播通常只需要数值梯度,因此完成后可以释放相关图结构。若要继续求二阶导数,使用本课的反向再反向写法时,第一次求导开启 create_graph 来构建梯度图。单独保留原图不等于记录求导运算。若一阶导数是常量,数学上二阶导数为零,框架可能返回没有计算历史的常量。

高阶自动微分的嵌套计算图

用代码计算二阶导数

下面计算 f(x)=x4+2x2f(x)=x^4+2x^2 在 x=3x=3 处的一阶和二阶导数。第一次调用 autograd.grad 时设置 create_graph=True,使返回的一阶梯度仍然可导。

python
import torch

x = torch.tensor(3.0, requires_grad=True)
f = x ** 4 + 2 * x ** 2

# 保留一阶梯度的计算图,供第二次求导使用
(first_grad,) = torch.autograd.grad(f, x, create_graph=True)
(second_grad,) = torch.autograd.grad(first_grad, x)

print(f"f={f.item():.1f}")
print(f"first_grad={first_grad.item():.1f}")
print(f"second_grad={second_grad.item():.1f}")

预期输出

text
f=99.0
first_grad=120.0
second_grad=112.0

对于多变量函数,完整海森矩阵可能很大。实际优化更常计算海森向量积:

Hv=∇x((∇xf)Tv)Hv=\nabla_x\left((\nabla_x f)^\mathsf{T}v\right)

令 vv 与 xx 无关,并假设 ff 二阶连续可微,使 Hessian 对称。梯度与 vv 的内积再对 xx 求导,就得到 HvHv。下面直接把固定的 vv 作为第二次反传的权重。

python
import torch

x = torch.tensor([1.0, 2.0], requires_grad=True)
v = torch.tensor([2.0, -1.0])
f = x[0] ** 2 + x[0] * x[1] + 3 * x[1] ** 2
(g,) = torch.autograd.grad(f, x, create_graph=True)
(hv,) = torch.autograd.grad(g, x, grad_outputs=v)
torch.testing.assert_close(hv, torch.tensor([3.0, -4.0]))
print(hv.tolist())

该例输出 [3.0, -4.0],与手算 Hessian 乘向量相同。它常用于 Newton-CG、曲率分析、元学习和物理信息神经网络。

需要注意,高阶图会增加内存与计算开销;分段线性函数在不可导点还可能产生不稳定或约定化的二阶结果。若只需一阶训练,不应无条件开启 create_graph=True。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

高阶自动微分

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通