高等数学 / 系统课时
梯度场
梯度场
梯度场把标量函数在每个位置的局部变化转换成一个向量:方向指向增长最快处,长度表示最快增长率。本课将从等值线、方向导数和具体函数出发,建立可直接用于优化问题的梯度直觉。
学习目标
- 理解标量场如何通过梯度形成向量场
- 会计算二元标量函数在指定点的梯度
- 能解释梯度与等值线、方向导数的关系
从标量场到向量场
标量场为每个位置分配一个数值。例如, 可以表示地形高度、温度或模型损失。梯度算子对各变量分别求偏导,并把结果组成向量:
因此,原来的标量函数经过梯度运算后,会在平面上的每个点产生一个向量,这些向量共同构成梯度场。梯度场描述的不是函数值本身,而是函数值在当前位置应当向哪里变化、变化有多快。
梯度为什么指向最快增长方向
设函数在该点可微, 是欧氏单位向量。梯度非零时,方向导数可写成
其中, 是梯度与方向向量的夹角。当两个向量方向相同时,,方向导数取得最大值 。因此,梯度方向就是局部增长最快的方向;负梯度方向则是局部下降最快的方向。梯度为零时,各单位方向的方向导数都为零,夹角公式中的角度无需定义。

等值线上的函数值保持不变,沿等值线本身移动时,函数值保持不变。在梯度非零的点,链式法则给出梯度与切线的点积为零。仅沿切线直走有限距离时,函数值只保证一阶变化为零。
计算一个梯度场
考虑标量函数:。分别对 和 求偏导,可得:
在点 处,梯度为 。这表示函数在该点沿向量 的方向增长最快,最大方向变化率为:
若要得到纯粹的方向,可将梯度单位化为 。需要注意,梯度向量本身同时包含方向和变化强度,不能只看箭头朝向而忽略长度。
在 AI 优化中的作用
训练模型时,损失函数可以看作参数空间中的标量场,梯度则描述损失对各参数的局部敏感程度。在非零梯度处,取足够小的正步长沿 更新会增大损失。梯度下降则沿负梯度更新。
其中, 是学习率。梯度只反映当前位置的一阶局部信息,因此它能提供下降方向,却不保证一步到达全局最优点。学习率过大可能越过低点,过小则会使收敛速度变慢。
按自己的节奏,确认真正理解。