高等数学 / 系统课时

等高线

等高线

等高线把三维函数表面压缩到二维平面:函数值相同的点连接成线。借助它可以快速判断损失函数的低谷、陡峭方向和尺度差异,为理解梯度下降的更新路径建立直观基础。

学习目标

  • 理解等高线与多元函数函数值之间的对应关系
  • 能从线条疏密判断函数变化快慢
  • 能用等高线分析损失函数的形状与优化难度

等高线表示什么

对二元函数 z=f(x,y)z=f(x,y),给定常数 cc,满足

f(x,y)=cf(x,y)=c

的全部点构成等高集合。它可能由多条曲线组成,也可能退化成点或空集。它相当于用水平平面 z=cz=c 截取三维曲面,再把交线投影到 xyxy 平面。

地图上的海拔等高线遵循同样思想:同一条线上的点高度相同。对损失函数而言,同一条等高线上的参数组合具有相同损失值。

三维曲面与二维等高线的对应关系

如何读取线条疏密

先核对数值间隔和坐标尺度。在数值间隔相等时,线越密说明横穿等高线时单位距离内的函数值变化越大。

沿等高线本身行走,函数值保持不变。在函数可微且梯度非零的点,梯度垂直于等高线的切线,按欧氏单位方向衡量时指向最快的局部上升方向。仅从曲线上一点沿切线直走,函数值只保证一阶变化为零。梯度为零时,一阶方向导数均为零。

Tips:等高线的“密”与“疏”只有在各条线对应相同数值间隔时才可直接比较。

观察损失函数的形状

对局部二次模型,等高线接近同心圆意味着各方向曲率尺度接近。固定步长能否稳定仍取决于曲率大小和学习率。若等高线呈细长椭圆,说明某些方向变化很快、另一些方向变化很慢,梯度下降容易在狭长谷底两侧来回摆动。设损失函数为

L(w1,w2)=w12+10w22L(w_1,w_2)=w_1^2+10w_2^2

其中 w2w_2 方向的系数更大,因此沿 w2w_2 方向变化更陡。它的等高线是被压扁的椭圆,而不是圆。相同学习率作用于两个方向时,更新尺度可能不匹配,这也是特征缩放和自适应优化方法有价值的原因之一。

常见误区

等高线不是函数图像本身,而是三维曲面的二维编码。同一条等高线上的点函数值相同,但坐标并不相同。

线条闭合也不必然表示存在最小值,还要结合等高线数值的增减方向判断。若越向中心数值越小,中心附近可能是低谷;若越向中心数值越大,则可能是峰顶。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

等高线

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通