AI 与工程数学 / 系统课时

用梯度判断最快变化方向

用梯度判断最快变化方向

这一课把梯度从“偏导数组成的向量”变成可操作的几何工具:用方向导数比较不同移动方向,理解梯度为何垂直等高线,并用一个二元函数验证负梯度确实给出局部最快下降方向。

学习目标

  • 能由偏导数写出二元函数的梯度向量
  • 能用方向导数解释“某个方向上变化有多快”
  • 能说明负梯度为什么是连续可微函数的局部最速下降方向

从方向导数看变化速度

设二元函数为 f(x,y)f(x,y),在点 pp 的梯度记作 ∇f(p)\nabla f(p)。如果沿单位方向 dd 移动,函数的一阶变化速度由方向导数给出:

Ddf(p)=∇f(p)TdD_d f(p)=\nabla f(p)^{\mathrm T}d

这个式子本质上是向量点积。方向 dd 与梯度越同向,方向导数越大;越反向,方向导数越小。因为要求 dd 是单位向量,所以不同方向的数值可以直接比较。

梯度与等高线的几何关系

等高线上的函数值保持不变,因此沿等高线切线方向移动时,一阶变化应为零。也就是说,梯度与等高线切向量的点积为零,所以梯度天然垂直于等高线,并指向函数值增大的最快方向。

梯度、等高线与负梯度下降方向

这张关系图要抓住两件事:梯度不是“沿着等高线走”,而是穿过等高线;负梯度只是局部的一阶最快下降方向,并不保证一步就到全局最优点。

为什么负梯度下降最快

对于所有满足 ∥d∥=1\lVert d\rVert=1 的方向,柯西-施瓦茨不等式给出:

∇f(p)Td≥−∥∇f(p)∥\nabla f(p)^{\mathrm T} d \ge -\lVert \nabla f(p) \rVert

当且仅当 d=−∇f(p)/∥∇f(p)∥d=-\nabla f(p)/\lVert\nabla f(p)\rVert 时取到下界。因此,只比较当前位置附近的一阶变化时,单位负梯度方向让方向导数最小,也就是函数值下降得最快。

用二元函数验证方向变化

取 f(x,y)=x2+4y2f(x,y)=x^2+4y^2,在点 (2,1)(2,1) 有 ∇f=(4,8)\nabla f=(4,8)。下面分别比较单位负梯度、向左和向下三个方向的方向导数,并沿负梯度走一个很小的步长。

python
import math

def f(x, y):
    return x * x + 4.0 * y * y

def grad_f(x, y):
    # 对 x、y 分别求偏导,得到当前位置的梯度。
    return (2.0 * x, 8.0 * y)

def dot(a, b):
    return a[0] * b[0] + a[1] * b[1]

p = (2.0, 1.0)
g = grad_f(*p)
g_norm = math.hypot(*g)
d_neg_grad = (-g[0] / g_norm, -g[1] / g_norm)
d_left = (-1.0, 0.0)
d_down = (0.0, -1.0)

step = 0.05
p_next = (p[0] + step * d_neg_grad[0],
          p[1] + step * d_neg_grad[1])

print("gradient =", g)
print("negative gradient unit direction =",
      tuple(round(v, 4) for v in d_neg_grad))
print("D_neg_grad =", round(dot(g, d_neg_grad), 4))
print("D_left =", round(dot(g, d_left), 4))
print("D_down =", round(dot(g, d_down), 4))
print("f(p) =", round(f(*p), 4))
print("f(p_next) =", round(f(*p_next), 4))

预期输出

text
gradient = (4.0, 8.0)
negative gradient unit direction = (-0.4472, -0.8944)
D_neg_grad = -8.9443
D_left = -4.0
D_down = -8.0
f(p) = 8.0
f(p_next) = 7.5613

三个方向中,负梯度方向的方向导数最小,说明它给出最强的一阶下降趋势;实际走一个小步后,函数值也从 8.0 降到了 7.5613。

什么时候不能只看负梯度

梯度为零时,负梯度不再提供方向,但该点可能是极小值、极大值或鞍点,需要结合 Hessian、邻域函数值或其他信息判断。对于狭长谷地,负梯度虽然每一步都在局部下降,却可能左右震荡,收敛很慢。

因此,梯度最重要的角色是提供当前位置的一阶变化信息。梯度指向最快上升,负梯度给出局部最快下降;优化算法再通过步长、动量、二阶信息或约束处理,把这个局部方向变成稳定的迭代过程。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用梯度判断最快变化方向

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通