高等数学 / 系统课时

梯度向量

梯度向量

多元函数在一个点附近可能沿不同方向以不同速度变化。梯度把所有一阶偏导数组合成一个向量,不仅给出最敏感的变化方向,还能直接计算任意方向上的变化率。

学习目标

  • 写出二元和多元函数的梯度
  • 解释梯度方向与最大增长率的关系
  • 用梯度判断上升、下降和等值线法向方向

梯度是什么

对二元函数 f(x,y)f(x,y),梯度定义为由两个偏导数组成的向量:

∇f(x,y)=(∂f∂x,∂f∂y)\nabla f(x,y)=\left(\frac{\partial f}{\partial x},\frac{\partial f}{\partial y}\right)

对 nn 元函数 f(x1,…,xn)f(x_1,\ldots,x_n),梯度写成:

∇f=(∂f∂x1,…,∂f∂xn)\nabla f=\left(\frac{\partial f}{\partial x_1},\ldots,\frac{\partial f}{\partial x_n}\right)

梯度的每个分量分别描述函数沿对应坐标轴正方向的变化率。把这些分量放进同一个向量后,就能统一描述局部的一阶变化。

为什么指向增长最快方向

设函数在目标点可微、梯度非零,且 u\mathbf u 按欧氏长度归一化。此时方向导数为

Duf=∇f⋅u=∥∇f∥cos⁡θD_{\mathbf{u}}f=\nabla f\cdot\mathbf{u} =\|\nabla f\|\cos\theta

其中 θ\theta 是梯度与方向向量的夹角。因为 cos⁡θ≤1\cos\theta\leq 1,当 θ=0\theta=0 时方向导数取得最大值 ∥∇f∥\|\nabla f\|。这说明梯度方向就是函数增长最快的方向,梯度的模就是最大增长率。

沿负梯度的单位方向,方向导数达到最小值 −∥∇f∥-\lVert\nabla f\rVert。与梯度垂直的方向导数为零,意味着沿该方向的一阶变化为零。这里比较的是起点的变化率,有限步长后的函数值还要重新计算。

梯度与等值线关系

主示例

设 f(x,y)=x2+2y2f(x,y)=x^2+2y^2,求点 (1,−1)(1,-1) 处的梯度,并判断最大增长方向和最大增长率。先分别求偏导:

∂f∂x=2x,∂f∂y=4y\frac{\partial f}{\partial x}=2x,\qquad \frac{\partial f}{\partial y}=4y

因此:

∇f(1,−1)=(2,−4)\nabla f(1,-1)=(2,-4)

最大增长方向使用单位向量表示:

umax⁡=(2,−4)22+(−4)2=(15,−25)\mathbf{u}_{\max}=\frac{(2,-4)}{\sqrt{2^2+(-4)^2}} =\left(\frac{1}{\sqrt{5}},-\frac{2}{\sqrt{5}}\right)

最大增长率等于梯度的模:

∥∇f(1,−1)∥=20=25\|\nabla f(1,-1)\|=\sqrt{20}=2\sqrt{5}

若沿 umax⁡\mathbf{u}_{\max} 移动一小段距离 ss,函数值的增量约为 25 s2\sqrt5\,s。反方向给出同样大小的下降速率。

与等值线和 AI 优化的联系

等值线上的函数值保持不变,因此沿等值线切线方向的方向导数为零。在梯度非零且等值线光滑的点,梯度与切线方向正交,因而给出等值线的法向量。这一关系能帮助我们从图形上判断函数在哪个方向上升最快。

在机器学习中,损失函数的梯度表示参数发生微小变化时损失最敏感的方向。梯度下降法选择负梯度方向更新参数,是因为该方向在局部一阶近似下能让损失下降最快。实际训练还会结合学习率控制每次移动的距离。

边界与易混淆点

函数可微且梯度为零时,每个单位方向的一阶导数都为零,无法选出唯一的最速方向。该点的局部形状需要结合二阶信息或周围函数值判断。

坐标缩放会改变各偏导的数值。例如 f(x,y)=x+2yf(x,y)=x+2y 的梯度为 (1,2)(1,2)。若把第二个坐标换成 s=100ys=100y,同一函数写成 f(x,s)=x+0.02sf(x,s)=x+0.02s,其梯度分量变为 (1,0.02)(1,0.02)。比较最速方向时,要明确采用哪套坐标及长度度量。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

梯度向量

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通