AI 与工程数学 / 系统课时
用梯度判断最快变化方向
用梯度判断最快变化方向
这一课把梯度从“偏导数组成的向量”变成可操作的几何工具:用方向导数比较不同移动方向,理解梯度为何垂直等高线,并用一个二元函数验证负梯度确实给出局部最快下降方向。
学习目标
- 能由偏导数写出二元函数的梯度向量
- 能用方向导数解释“某个方向上变化有多快”
- 能说明负梯度为什么是连续可微函数的局部最速下降方向
从方向导数看变化速度
设二元函数为 ,在点 的梯度记作 。如果沿单位方向 移动,函数的一阶变化速度由方向导数给出:
这个式子本质上是向量点积。方向 与梯度越同向,方向导数越大;越反向,方向导数越小。因为要求 是单位向量,所以不同方向的数值可以直接比较。
梯度与等高线的几何关系
等高线上的函数值保持不变,因此沿等高线切线方向移动时,一阶变化应为零。也就是说,梯度与等高线切向量的点积为零,所以梯度天然垂直于等高线,并指向函数值增大的最快方向。

这张关系图要抓住两件事:梯度不是“沿着等高线走”,而是穿过等高线;负梯度只是局部的一阶最快下降方向,并不保证一步就到全局最优点。
为什么负梯度下降最快
对于所有满足 的方向,柯西-施瓦茨不等式给出:
当且仅当 时取到下界。因此,只比较当前位置附近的一阶变化时,单位负梯度方向让方向导数最小,也就是函数值下降得最快。
用二元函数验证方向变化
取 ,在点 有 。下面分别比较单位负梯度、向左和向下三个方向的方向导数,并沿负梯度走一个很小的步长。
python
import math
def f(x, y):
return x * x + 4.0 * y * y
def grad_f(x, y):
# 对 x、y 分别求偏导,得到当前位置的梯度。
return (2.0 * x, 8.0 * y)
def dot(a, b):
return a[0] * b[0] + a[1] * b[1]
p = (2.0, 1.0)
g = grad_f(*p)
g_norm = math.hypot(*g)
d_neg_grad = (-g[0] / g_norm, -g[1] / g_norm)
d_left = (-1.0, 0.0)
d_down = (0.0, -1.0)
step = 0.05
p_next = (p[0] + step * d_neg_grad[0],
p[1] + step * d_neg_grad[1])
print("gradient =", g)
print("negative gradient unit direction =",
tuple(round(v, 4) for v in d_neg_grad))
print("D_neg_grad =", round(dot(g, d_neg_grad), 4))
print("D_left =", round(dot(g, d_left), 4))
print("D_down =", round(dot(g, d_down), 4))
print("f(p) =", round(f(*p), 4))
print("f(p_next) =", round(f(*p_next), 4))预期输出
text
gradient = (4.0, 8.0)
negative gradient unit direction = (-0.4472, -0.8944)
D_neg_grad = -8.9443
D_left = -4.0
D_down = -8.0
f(p) = 8.0
f(p_next) = 7.5613三个方向中,负梯度方向的方向导数最小,说明它给出最强的一阶下降趋势;实际走一个小步后,函数值也从 8.0 降到了 7.5613。
什么时候不能只看负梯度
梯度为零时,负梯度不再提供方向,但该点可能是极小值、极大值或鞍点,需要结合 Hessian、邻域函数值或其他信息判断。对于狭长谷地,负梯度虽然每一步都在局部下降,却可能左右震荡,收敛很慢。
因此,梯度最重要的角色是提供当前位置的一阶变化信息。梯度指向最快上升,负梯度给出局部最快下降;优化算法再通过步长、动量、二阶信息或约束处理,把这个局部方向变成稳定的迭代过程。
按自己的节奏,确认真正理解。