AI 与工程数学 / 系统课时

用步长控制收敛速度

用步长控制收敛速度

梯度方向告诉我们“往哪走”,步长决定“走多远”。同一个目标函数和同一个初值,仅改变步长,就可能出现缓慢收敛、快速下降或来回震荡甚至发散。本节比较固定步长与 Armijo 回溯线搜索,并把“充分下降”写成可执行的判断条件。

学习目标

  • 能解释固定步长过小、合适和过大时的典型现象
  • 能写出 Armijo 充分下降条件并理解回溯线搜索流程
  • 能用目标值和梯度范数验证步长策略是否有效

固定步长为什么可能失控

仍使用 f(x,y)=(x−1)2+2(y+2)2f(x,y)=(x-1)^2+2(y+2)^2,沿负梯度方向更新。固定步长最简单,但它完全不看当前位置的局部曲率:步长过小,每次下降有限;步长过大,则可能跨过谷底,在两侧反复跳跃,甚至越跳越远。

对同一个初值 (4,2)(4,2),α=0.02α=0.02 会稳定但很慢;α=0.55α=0.55 在这个函数上已经过大,目标值会不断放大。固定步长的优点是实现和计算成本低,缺点是需要人工调参,而且一个全程不变的值未必适合所有迭代阶段。

小步长、大步长与回溯线搜索的收敛差异

Armijo 条件要求下降得足够多

线搜索不再预先承诺一个固定步长,而是在当前下降方向上试探。Armijo 条件常写成:

(f(xk−αgk)≤f(xk)−cα∣∣gk∣∣2)(f(x_k-αg_k) \le f(x_k)-cα||g_k||^2)

其中 cc 是很小的正数。右边给出了“这一步至少应该下降多少”的门槛。如果候选步长不能满足,就把步长乘以缩减系数 ββ,例如从 1 依次尝试 0.5、0.25、0.125,直到条件成立。

这种方法的关键不是找到当前方向上的精确最佳步长,而是用较低成本排除明显过大的更新,让每次接受的步长都具备足够下降性。

用程序比较三种结果

下面的示例让固定步长各执行 6 次更新,并让 Armijo 从候选步长 1 开始回溯。回溯中使用 c=10−4c=10^{-4}、β=0.5β=0.5;当梯度范数已经近似为 0 时提前停止。

python
from math import sqrt

def f(x, y):
    return (x - 1) ** 2 + 2 * (y + 2) ** 2

def grad(x, y):
    return 2 * (x - 1), 4 * (y + 2)

def norm(gx, gy):
    return sqrt(gx * gx + gy * gy)

def run_fixed(alpha, steps=6):
    x, y = 4.0, 2.0
    for _ in range(steps):
        gx, gy = grad(x, y)
        x -= alpha * gx
        y -= alpha * gy
    gx, gy = grad(x, y)
    return f(x, y), norm(gx, gy)

def run_armijo(max_steps=6, c=1e-4, beta=0.5):
    x, y = 4.0, 2.0
    accepted = []
    for _ in range(max_steps):
        gx, gy = grad(x, y)
        if norm(gx, gy) < 1e-12:
            break

        current = f(x, y)
        g2 = gx * gx + gy * gy
        alpha = 1.0

        # 只接受满足充分下降条件的候选步长。
        while f(x - alpha * gx, y - alpha * gy) > current - c * alpha * g2:
            alpha *= beta

        accepted.append(alpha)
        x -= alpha * gx
        y -= alpha * gy

    gx, gy = grad(x, y)
    return f(x, y), norm(gx, gy), accepted

for alpha in (0.02, 0.55):
    value, gnorm = run_fixed(alpha)
    print(f"fixed alpha={alpha:.2f}: f={value:.6f}, ||g||={gnorm:.6f}")

value, gnorm, accepted = run_armijo()
print(f"Armijo: f={value:.6f}, ||g||={gnorm:.6f}, accepted={accepted}")

预期输出:

text
fixed alpha=0.02: f=17.279712, ||g||=10.778689
fixed alpha=0.55: f=285.315214, ||g||=47.775744
Armijo: f=0.000000, ||g||=0.000000, accepted=[0.5, 0.25]

固定小步长的目标值确实下降,但 6 步后仍离最优点很远;过大的固定步长把目标值从初始的 41 推高到 285.315214,说明迭代已经发散。Armijo 则先把候选步长 1 缩到 0.5,下一步接受 0.25,并在这个二次函数上直接到达极小点。

什么时候选固定步长或线搜索

固定步长适合问题尺度稳定、已经有可靠经验值,或者单次迭代必须尽可能便宜的场景。若目标函数曲率变化明显,或者你经常看到目标值忽高忽低,回溯线搜索通常更稳健。

Armijo 的价值在于把调步长从“凭感觉选一个数”变成可验证规则:先尝试较积极的更新,若下降不充分就逐级收缩,只接受满足条件的步长。这样既能避免明显过大的更新,也比一开始就使用极小固定步长更有机会获得较快收敛。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用步长控制收敛速度

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通