AI 与工程数学 / 系统课时

用梯度下降逼近极小值

用梯度下降逼近极小值

梯度下降把“直接求最优点”改成一串可观察的迭代:从初始点出发,每次沿负梯度方向移动,并用目标值与梯度范数判断是否正在接近极小点。本节用一个二维凸函数手算前几步,再用程序比较不同初值的收敛轨迹。

学习目标

  • 能写出梯度下降的更新式,并解释负梯度为什么是局部下降方向
  • 能同时跟踪目标值、参数位置和梯度范数判断收敛
  • 能比较不同初始点产生的迭代轨迹及最终结果

从更新式看一次迭代

考虑目标函数 f(x,y)=(x−1)2+2(y+2)2f(x,y)=(x-1)^2+2(y+2)^2。它的唯一极小点是 (1,−2)(1,-2),梯度为 g(x,y)=(2(x−1),4(y+2))g(x,y)=(2(x-1),4(y+2))。梯度下降使用固定步长 α>0α>0:

xk+1=xk−αgkx_{k+1}=x_k-αg_k

这里的 xkx_k 表示当前参数向量,gkg_k 是当前点的梯度。负梯度指向函数在当前点下降最快的局部方向;步长决定这一步走多远。以初值 (4,2)(4,2)、α=0.2α=0.2 为例,初始梯度为 (6,16)(6,16),因此第一步得到 (2.8,−1.2)(2.8,-1.2),目标值由 41 降到 4.52。

不同初值沿等高线逼近同一极小点

用数值同时看位置与收敛指标

只看参数是否“变化变小”并不稳妥。更实用的检查方式是同时观察目标值 f(xk)f(x_k) 和梯度范数 ∣∣gk∣∣||g_k||:前者反映当前解的好坏,后者反映一阶最优性。当梯度范数逐渐接近 0,说明当前位置越来越接近平稳点。

下面的完整 Python 示例打印前 8 次迭代,并在 20 次迭代后比较三个初始点。函数是严格凸二次函数,因此不同初值都会收敛到同一个全局极小点。

python
from math import sqrt

def f(x, y):
    return (x - 1) ** 2 + 2 * (y + 2) ** 2

def grad(x, y):
    return 2 * (x - 1), 4 * (y + 2)

def gradient_descent(start, alpha=0.2, steps=20, trace=False):
    x, y = start
    for k in range(steps + 1):
        gx, gy = grad(x, y)
        if trace and k <= 8:
            print(f"{k:2d} x={x:8.5f} y={y:9.5f} "
                  f"f={f(x, y):10.6f} ||g||={sqrt(gx*gx + gy*gy):9.6f}")
        if k == steps:
            break
        # 更新方向取负梯度,alpha 控制每次移动距离。
        x -= alpha * gx
        y -= alpha * gy
    gx, gy = grad(x, y)
    return x, y, f(x, y), sqrt(gx * gx + gy * gy)

gradient_descent((4.0, 2.0), trace=True)

for start in [(4.0, 2.0), (-3.0, 3.0), (5.0, -5.0)]:
    x, y, value, gnorm = gradient_descent(start)
    print(f"start={start} -> ({x:.6f}, {y:.6f}), "
          f"f={value:.10f}, ||g||={gnorm:.8f}")

预期输出:

text
 0 x= 4.00000 y=  2.00000 f= 41.000000 ||g||=17.088007
 1 x= 2.80000 y= -1.20000 f=  4.520000 ||g||= 4.816638
 2 x= 2.08000 y= -1.84000 f=  1.217600 ||g||= 2.252820
 3 x= 1.64800 y= -1.96800 f=  0.421952 ||g||= 1.302306
 4 x= 1.38880 y= -1.99360 f=  0.151247 ||g||= 0.778021
 5 x= 1.23328 y= -1.99872 f=  0.054423 ||g||= 0.466588
 6 x= 1.13997 y= -1.99974 f=  0.019591 ||g||= 0.279938
 7 x= 1.08398 y= -1.99995 f=  0.007053 ||g||= 0.167962
 8 x= 1.05039 y= -1.99999 f=  0.002539 ||g||= 0.100777
start=(4.0, 2.0) -> (1.000110, -2.000000), f=0.0000000120, ||g||=0.00021937
start=(-3.0, 3.0) -> (0.999854, -2.000000), f=0.0000000214, ||g||=0.00029249
start=(5.0, -5.0) -> (1.000146, -2.000000), f=0.0000000214, ||g||=0.00029249

初值为什么会改变轨迹

在这个凸问题里,三个初值虽然走过的路径不同,但都会逼近同一个极小点。初值离极小点越远,通常需要更多迭代;不同坐标方向的曲率不同,也会使轨迹出现明显转向,而不是沿直线直接走到终点。

对非凸函数则要更谨慎:不同初值可能落入不同局部极小点,甚至停在鞍点附近。因此“换几个初值再跑一次”不是形式检查,而是判断结果是否依赖初始化的重要实验。

把停止条件写进算法

工程实现通常不会固定迭代到某个次数后强制结束,而会组合停止条件,例如梯度范数小于阈值、相邻两次目标值变化足够小,或达到最大迭代次数。最大迭代次数是安全兜底,梯度范数则更直接对应一阶最优条件。

梯度下降的核心并不是某个固定公式本身,而是建立一条可检查的迭代链:当前位置产生梯度,梯度决定方向,步长决定移动幅度,再用目标值和梯度范数确认这一步是否真的在逼近极小点。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用梯度下降逼近极小值

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通