AI 与工程数学 / 系统课时

识别缩放不当带来的病态性

识别缩放不当带来的病态性

有些梯度下降代码没有写错,却需要成千上万次迭代才接近最优点。常见原因不是算法失效,而是变量尺度差异让目标函数变成狭长峡谷。本节从条件数、等高线和实际迭代次数出发,说明缩放与预处理为什么能直接改变数值求解效率。

学习目标

  • 能从量纲差异、狭长等高线和较大条件数识别缩放不当的问题。
  • 能解释条件数为什么限制梯度下降可用步长并导致来回震荡。
  • 能用变量缩放把同一个最优问题改写成更容易求解的数值形式,并验证迭代改善。

病态不是算法坏了,而是尺度差太大

考虑二次函数 f(x)=12(x12+1000x22)f(x)=\frac{1}{2}(x_1^2+1000x_2^2)。沿 x2x_2 方向,函数弯曲程度是 x1x_1 方向的 1000 倍。它的 Hessian 为 A=diag(1,1000)A=\mathrm{diag}(1,1000),2-范数条件数为 κ2(A)=1000\kappa_2(A)=1000。

这种目标函数的等高线是非常狭长的椭圆。梯度总是垂直于等高线,因此迭代点容易在陡峭方向两侧反复跳动,却只在平缓方向缓慢前进。为了不在陡峭方向发散,步长又不能取得太大,于是整体收敛被最难处理的方向拖慢。

缩放前后等高线、梯度下降路径与收敛速度对比

条件数为什么拖慢梯度下降

对正定二次函数,Hessian 的最小特征值 μ\mu 表示最平缓方向的曲率,最大特征值 LL 表示最陡方向的曲率,条件数可写成 κ=L/μ\kappa=L/\mu。当 κ\kappa 很大时,一个统一学习率必须同时照顾两种完全不同的曲率。

步长太大,陡峭方向会发散;步长太小,平缓方向又推进得极慢。即使选用理论上较好的固定步长,也会出现收敛因子接近 1 的情况。这就是“看起来每一步都在下降,但下降得非常慢”的典型病态表现。

变量缩放如何改变问题

对上面的例子,令 z=Sxz=Sx,其中 S=diag(1,1000)S=\mathrm{diag}(1,\sqrt{1000})。由于 x=S−1zx=S^{-1}z,变换后的二次项矩阵为 S−TAS−1=IS^{-T}AS^{-1}=I。原本一长一短的两个曲率方向被拉到相同尺度,条件数从 1000 变为 1。

这个变换没有删除信息,也没有改变原问题的最优解含义,只是换了更适合数值计算的坐标系。工程里的特征标准化、变量归一化和预处理都在做类似的事情,只是实际问题通常无法像这个二次函数一样一次得到完美缩放。

用迭代次数验证缩放效果

下面固定使用普通梯度下降,并以参数向量的 L2 范数不超过 10−610^{-6} 作为停止条件。为了突出缩放本身的作用,示例选择一个可以精确分析的二次函数。

python
import numpy as np

def gradient_descent(A, x0, alpha, tol=1e-6, max_iter=20000):
    x = x0.astype(float).copy()
    for k in range(1, max_iter + 1):
        # 对 f(x)=1/2*x^T*A*x,梯度就是 A@x。
        x = x - alpha * (A @ x)
        if np.linalg.norm(x, ord=2) <= tol:
            return k
    return max_iter

A = np.diag([1.0, 1000.0])
x0 = np.array([10.0, 10.0])
alpha = 2.0 / (1.0 + 1000.0)

raw_iters = gradient_descent(A, x0, alpha)

# z=Sx 后,新的 Hessian 变成单位阵;这是理想化的完全缩放。
S = np.diag([1.0, np.sqrt(1000.0)])
S_inv = np.linalg.inv(S)
A_scaled = S_inv.T @ A @ S_inv
z0 = S @ x0
scaled_iters = gradient_descent(A_scaled, z0, alpha=1.0)

print(f"原始条件数: {np.linalg.cond(A):.1f}")
print(f"缩放后条件数: {np.linalg.cond(A_scaled):.1f}")
print(f"原始坐标迭代次数: {raw_iters}")
print(f"缩放后迭代次数: {scaled_iters}")

预期输出

text
原始条件数: 1000.0
缩放后条件数: 1.0
原始坐标迭代次数: 8233
缩放后迭代次数: 1

这里的“一次收敛”来自特意构造的二次函数和精确缩放,不能机械推广到真实任务。它要证明的是:坐标尺度会直接改变 Hessian 的数值几何,从而改变同一种算法的可用步长和迭代效率。

实际工程该怎么缩放

如果不同特征的典型数值相差几个数量级,先检查是否存在单位差异,例如米与毫米、元与万元混用。机器学习中可用均值方差标准化让特征处于接近的数值范围;物理建模中更适合按特征尺度做无量纲化;对大型线性或二次子问题,则常通过预条件器近似抵消不同方向的曲率差异。

排查“收敛很慢”时,不要只调学习率。先看变量范围、梯度各分量量级、等高线是否狭长,以及 Hessian 或近似 Hessian 的条件数;如果这些信号同时出现,优先处理缩放通常比继续微调固定步长更有效。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

识别缩放不当带来的病态性

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通