高等数学 / 系统课时

梯度场

梯度场

梯度场把标量函数在每个位置的局部变化转换成一个向量:方向指向增长最快处,长度表示最快增长率。本课将从等值线、方向导数和具体函数出发,建立可直接用于优化问题的梯度直觉。

学习目标

  • 理解标量场如何通过梯度形成向量场
  • 会计算二元标量函数在指定点的梯度
  • 能解释梯度与等值线、方向导数的关系

从标量场到向量场

标量场为每个位置分配一个数值。例如,f(x,y)f(x,y) 可以表示地形高度、温度或模型损失。梯度算子对各变量分别求偏导,并把结果组成向量:

∇f(x,y)=(∂f∂x,∂f∂y)\nabla f(x,y)=\left(\frac{\partial f}{\partial x},\frac{\partial f}{\partial y}\right)

因此,原来的标量函数经过梯度运算后,会在平面上的每个点产生一个向量,这些向量共同构成梯度场。梯度场描述的不是函数值本身,而是函数值在当前位置应当向哪里变化、变化有多快。

梯度为什么指向最快增长方向

设函数在该点可微,u\mathbf u 是欧氏单位向量。梯度非零时,方向导数可写成

Duf=∇f⋅u=∥∇f∥cos⁡θD_{\mathbf{u}}f=\nabla f\cdot\mathbf{u}=\lVert\nabla f\rVert\cos\theta

其中,θ\theta 是梯度与方向向量的夹角。当两个向量方向相同时,cos⁡θ=1\cos\theta=1,方向导数取得最大值 ∥∇f∥\lVert\nabla f\rVert。因此,梯度方向就是局部增长最快的方向;负梯度方向则是局部下降最快的方向。梯度为零时,各单位方向的方向导数都为零,夹角公式中的角度无需定义。

梯度场与等值线的关系

等值线上的函数值保持不变,沿等值线本身移动时,函数值保持不变。在梯度非零的点,链式法则给出梯度与切线的点积为零。仅沿切线直走有限距离时,函数值只保证一阶变化为零。

计算一个梯度场

考虑标量函数:f(x,y)=x2+2y2f(x,y)=x^2+2y^2。分别对 xx 和 yy 求偏导,可得:

∇f(x,y)=(2x,4y)\nabla f(x,y)=(2x,4y)

在点 (1,1)(1,1) 处,梯度为 (2,4)(2,4)。这表示函数在该点沿向量 (2,4)(2,4) 的方向增长最快,最大方向变化率为:

∥∇f(1,1)∥=22+42=25\lVert\nabla f(1,1)\rVert=\sqrt{2^2+4^2}=2\sqrt{5}

若要得到纯粹的方向,可将梯度单位化为 (1/5,2/5)(1/\sqrt{5},2/\sqrt{5})。需要注意,梯度向量本身同时包含方向和变化强度,不能只看箭头朝向而忽略长度。

在 AI 优化中的作用

训练模型时,损失函数可以看作参数空间中的标量场,梯度则描述损失对各参数的局部敏感程度。在非零梯度处,取足够小的正步长沿 ∇L\nabla L 更新会增大损失。梯度下降则沿负梯度更新。

θt+1=θt−η∇L(θt)\boldsymbol{\theta}_{t+1}=\boldsymbol{\theta}_t-\eta\nabla L(\boldsymbol{\theta}_t)

其中,η\eta 是学习率。梯度只反映当前位置的一阶局部信息,因此它能提供下降方向,却不保证一步到达全局最优点。学习率过大可能越过低点,过小则会使收敛速度变慢。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

梯度场

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通