高等数学 / 系统课时
非凸优化现象
非凸优化现象
非凸目标函数会让训练过程出现停滞、绕行或落入不同低谷。本课用二维损失函数建立直观认识,区分局部极小值、鞍点、平坦区域和等价解,并说明这些现象如何影响神经网络参数更新。
学习目标
- 区分局部极小值、鞍点、平坦区域和多个等价解
- 解释非凸结构对梯度下降轨迹与收敛速度的影响
- 通过二维函数图识别低谷、缓坡和不同吸引区域
非凸问题难在哪里
对凸定义域内任意两点 和 ,若 ,则 是凸函数。图像在对应弦线下方或与之重合。凸问题的局部极小值也是全局极小值。神经网络的损失函数通常不满足这一性质,参数空间中可能同时存在多个低谷、山脊和近乎水平的区域。
训练算法只能利用当前位置附近的梯度信息,因此看不到完整地形。相同模型即使使用同一批数据,也可能因为初始化、样本顺序或数值误差不同,沿着不同路径到达不同参数解。

四类典型现象
局部极小值
某点附近的函数值都不低于该点,但更远处仍可能存在更小的值。优化器进入这样的盆地后,局部梯度会逐渐接近零,单纯依靠一阶信息很难判断是否还有更优区域。
鞍点
鞍点在某些方向上像最低点,在另一些方向上却像最高点。其梯度同样可能为零,所以训练曲线会短暂停滞;只要更新方向包含可下降分量,动量、随机梯度噪声或二阶信息就可能帮助参数离开。
平坦区域
平坦区域中的梯度绝对值很小,参数每次移动距离有限,损失下降缓慢。它不一定意味着已经收敛,也可能只是进入了长平台、饱和区或曲率很小的宽谷。
多个等价解
神经网络常存在参数置换或缩放对称性。例如交换两个功能相同的隐藏单元,模型输出可以保持不变,却得到另一组参数。若置换后对所有输入的预测保持一致,这两组参数表示同一预测函数。仅知道损失或验证指标接近,还不足以证明函数等价。
用二维函数观察非凸地形
下例在 上满足 ,而 和 的平均为零,直接违反凸性不等式。程序将等高线保存为 PNG。只有在高度间隔和坐标尺度一致时,才可用疏密比较局部变化率。
import numpy as np
import matplotlib.pyplot as plt
def loss(x, y):
# 双井项制造多个盆地,较小的 y 系数制造缓慢方向
return (x ** 2 - 1) ** 2 + 0.15 * y ** 2 + 0.2 * np.sin(3 * x) * np.cos(2 * y)
x = np.linspace(-2.0, 2.0, 400)
y = np.linspace(-2.0, 2.0, 400)
X, Y = np.meshgrid(x, y)
Z = loss(X, Y)
# 等高线用于观察盆地位置与局部曲率差异
contours = plt.contour(X, Y, Z, levels=30)
plt.clabel(contours, inline=True, fontsize=7)
plt.xlabel('x')
plt.ylabel('y')
plt.title('Non-convex loss landscape')
plt.axis('equal')
plt.savefig('nonconvex_landscape.png', dpi=150, bbox_inches='tight')
plt.close()预期结果
生成 nonconvex_landscape.png。图中可观察两个低值盆地和其间的高值区域。训练时如何判断
损失长时间不下降时,不能直接断定模型陷入了局部极小值。更可靠的判断方式是同时观察梯度范数、参数更新量和验证集指标:梯度很小但更新仍有随机波动,可能处于平坦区;不同方向曲率符号不同,则更接近鞍点;多次训练得到不同参数但指标接近,则可能是等价解。
工程上通常不要求找到严格的全局最优解。只要训练损失稳定、验证效果良好,并且模型对扰动不过度敏感,一个宽而平坦的低损失区域往往已经足够实用。