AI 与工程数学 / 系统课时

凸目标为什么更易判断全局最优

凸目标为什么更易判断全局最优

训练模型时,优化算法找到一个梯度为零的点,并不代表损失已经达到全局最低。对于可微凸函数,这个判断却可以成立。本课通过几何直觉、一阶最优性条件和具体损失函数,建立判断全局最优的实用方法,并理解它在 AI 模型训练中的适用边界。

学习目标

  • 理解凸函数的几何性质及其与局部最优、全局最优的关系。
  • 使用一阶最优性条件判断可微凸目标的全局最优解。
  • 识别常见凸损失,并区分损失函数凸性与模型训练目标凸性。

凸函数为什么没有坏的局部最优点

设优化目标为 f(x)f(x),凸函数要求定义域是凸集,并且对任意两点 x1,x2x_1,x_2 和 0≤λ≤10\leq\lambda\leq1,满足:

f(λx1+(1−λ)x2)≤λf(x1)+(1−λ)f(x2)f(\lambda x_1+(1-\lambda)x_2)\leq\lambda f(x_1)+(1-\lambda)f(x_2)

几何上,函数图像上任意两点之间的连线不会落到图像下方。对于单变量函数,可以把它理解为没有向下凹陷的山谷隔断;但严格判断仍应使用上述定义或导数条件。

以 f(x)=(x−2)2+1f(x)=(x-2)^2+1 为例,最低点位于 x=2x=2,函数值为 11。无论从左侧还是右侧接近该点,都不会发现另一个更低的谷底。

凸函数与非凸函数的局部最低点对比

凸函数有一条重要结论:定义在凸集上的凸函数,任何局部最小点都是全局最小点。这里的局部最小指在该点附近的可行区域内,没有其他点具有更小函数值。

但凸性不保证最优解唯一。例如常数函数 f(x)=3f(x)=3 在所有点都达到全局最优。即使目标严格凸,也还需要最小值确实能够取到,才能谈论唯一最优解。

一阶最优性条件如何证明全局最优

对于定义在开放凸集上的可微凸函数,任意两点 x,yx,y 满足一阶支撑不等式:

f(y)≥f(x)+∇f(x)T(y−x)f(y)\geq f(x)+\nabla f(x)^T(y-x)

其中 ∇f(x)\nabla f(x) 为梯度。这个公式说明,在点 xx 处作出的切线或切平面始终位于函数图像下方。

如果找到 x∗x^*,使得 ∇f(x∗)=0\nabla f(x^*)=0,则对任意可行点 yy 都有:

f(y)≥f(x∗)f(y)\geq f(x^*)

因此,x∗x^* 就是全局最优解。这是凸优化容易判断最优性的关键:只需检查一阶条件,而不必逐一比较所有候选点。

以 f(x)=x2−4x+5f(x)=x^2-4x+5 为例:

f′(x)=2x−4f'(x)=2x-4

令 f′(x)=0f'(x)=0,得到 x∗=2x^*=2,代回原式得到 f(2)=1f(2)=1。由于二阶导数 f′′(x)=2>0f''(x)=2>0 对所有 xx 成立,函数严格凸,因此 x=2x=2 是唯一全局最优点。

对于非凸函数,梯度为零只是驻点条件。例如 f(x)=x3f(x)=x^3 在 x=0x=0 处导数为零,但该点既不是局部最小点,也不是全局最小点。

凸函数的一阶支撑不等式与切线关系

常见 AI 损失怎样判断凸性

判断凸性必须明确优化变量。机器学习通常优化参数 ww,因此要判断完整目标函数关于 ww 是否凸,不能只看损失对预测值是否凸。

损失或目标 典型表达式 凸性判断
平方误差 (y^−y)2(\hat y-y)^2 对预测值 y^\hat y 凸;线性模型的平方误差和对参数凸
绝对误差 $ \hat y-y
二分类 Logistic 损失 log⁡(1+e−yz)\log(1+e^{-yz}),y∈{−1,1}y\in\{-1,1\} 对分数 zz 凸;当 z=wTx+bz=w^Tx+b 时对参数凸
Hinge 损失 max⁡(0,1−yz)\max(0,1-yz) 对分数 zz 凸;在线性分数下对参数凸,但不可处处求导

以线性回归为例,预测值为 y^i=wTxi+b\hat y_i=w^Tx_i+b,平均平方误差为:

L(w,b)=1n∑i=1n(wTxi+b−yi)2L(w,b)=\frac{1}{n}\sum_{i=1}^{n}(w^Tx_i+b-y_i)^2

因为每个误差都是参数的仿射函数,平方后的 Hessian 矩阵半正定,所以整体目标凸。若设计矩阵列不满秩,最优参数可能不唯一,但达到的最小损失值相同。

再看神经网络:即使输出层使用平方误差,隐藏层权重经过多层非线性变换后,整体损失通常不再关于全部网络参数凸。不能凭平方误差本身是凸函数,就断言神经网络训练是凸优化问题。

实际检查时,可按以下顺序操作:

  1. 明确优化变量是预测值、模型分数,还是全部模型参数。
  2. 检查变量到损失输入的映射是否为仿射映射,或是否满足其他已知的凸性复合规则。
  3. 对二阶可微目标,检查 Hessian 在凸定义域内是否处处半正定。
  4. 如果添加正则项,确认正则项凸且系数非负;例如非负系数的 L2 正则不会破坏原有凸性。

用 Python 验证凸二次目标

下面用 NumPy 实现梯度下降,求解前面的凸二次函数。示例适用于 Python 3.10+,需要安装 NumPy,可先执行 python -m pip install numpy。

python
import numpy as np

# 凸二次函数的梯度为 2x-4,学习率 0.2 小于该问题的稳定上界 1
x = 0.0
learning_rate = 0.2

for _ in range(30):
    gradient = 2 * x - 4
    x -= learning_rate * gradient

# 同时核对目标值和一阶最优性条件
loss = x**2 - 4 * x + 5
print(f"x = {x:.4f}")
print(f"loss = {loss:.4f}")
print(f"gradient = {2 * x - 4:.6f}")

预期输出:

text
x = 2.0000
loss = 1.0000
gradient = -0.000001

梯度的数值接近零,并不是数学意义上的精确零。程序采用固定步数迭代,随着迭代次数增加,结果逐渐接近解析解 x∗=2x^*=2。此例可利用已证明的凸性,将近似驻点解释为接近全局最优。

对于一般凸目标,数值梯度很小只能作为近似最优的线索,还应结合优化容差、可行性和目标值下界判断精度。不能仅凭优化器报告收敛就断言求得精确最优解。

凸优化为什么仍可能训练困难

凸性排除了劣质局部最小点,却不意味着优化过程一定快速。考虑二维二次函数:

f(x,y)=x2+100y2f(x,y)=x^2+100y^2

它的 Hessian 是对角矩阵 diag⁡(2,200)\operatorname{diag}(2,200),两个方向的曲率相差 100100 倍。沿 yy 方向学习率过大容易震荡,沿 xx 方向又可能收敛缓慢。

例如固定学习率 0.020.02,沿 yy 方向的更新因子为 1−0.02×200=−31-0.02\times200=-3,参数的绝对值会扩大;改用学习率 0.0050.005 时,该方向更新因子为 00,但 xx 方向每次仅乘以 0.990.99,下降较慢。

凸二次目标的不同曲率与梯度下降路径

因此,在凸优化中仍需考虑学习率、特征缩放、条件数和停止准则。对于非凸神经网络训练,还要进一步面对鞍点、不同初始化和复杂的参数空间。

面对一个新的训练目标,优先确认其关于模型参数的凸性;若凸且找到满足适当最优性条件的点,就能给出全局最优保证。若只是非凸目标中的梯度接近零,则还需要更多证据判断解的质量。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

凸目标为什么更易判断全局最优

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通