AI 与工程数学 / 系统课时
用梯度下降逼近极小值
用梯度下降逼近极小值
梯度下降把“直接求最优点”改成一串可观察的迭代:从初始点出发,每次沿负梯度方向移动,并用目标值与梯度范数判断是否正在接近极小点。本节用一个二维凸函数手算前几步,再用程序比较不同初值的收敛轨迹。
学习目标
- 能写出梯度下降的更新式,并解释负梯度为什么是局部下降方向
- 能同时跟踪目标值、参数位置和梯度范数判断收敛
- 能比较不同初始点产生的迭代轨迹及最终结果
从更新式看一次迭代
考虑目标函数 。它的唯一极小点是 ,梯度为 。梯度下降使用固定步长 :
这里的 表示当前参数向量, 是当前点的梯度。负梯度指向函数在当前点下降最快的局部方向;步长决定这一步走多远。以初值 、 为例,初始梯度为 ,因此第一步得到 ,目标值由 41 降到 4.52。

用数值同时看位置与收敛指标
只看参数是否“变化变小”并不稳妥。更实用的检查方式是同时观察目标值 和梯度范数 :前者反映当前解的好坏,后者反映一阶最优性。当梯度范数逐渐接近 0,说明当前位置越来越接近平稳点。
下面的完整 Python 示例打印前 8 次迭代,并在 20 次迭代后比较三个初始点。函数是严格凸二次函数,因此不同初值都会收敛到同一个全局极小点。
from math import sqrt
def f(x, y):
return (x - 1) ** 2 + 2 * (y + 2) ** 2
def grad(x, y):
return 2 * (x - 1), 4 * (y + 2)
def gradient_descent(start, alpha=0.2, steps=20, trace=False):
x, y = start
for k in range(steps + 1):
gx, gy = grad(x, y)
if trace and k <= 8:
print(f"{k:2d} x={x:8.5f} y={y:9.5f} "
f"f={f(x, y):10.6f} ||g||={sqrt(gx*gx + gy*gy):9.6f}")
if k == steps:
break
# 更新方向取负梯度,alpha 控制每次移动距离。
x -= alpha * gx
y -= alpha * gy
gx, gy = grad(x, y)
return x, y, f(x, y), sqrt(gx * gx + gy * gy)
gradient_descent((4.0, 2.0), trace=True)
for start in [(4.0, 2.0), (-3.0, 3.0), (5.0, -5.0)]:
x, y, value, gnorm = gradient_descent(start)
print(f"start={start} -> ({x:.6f}, {y:.6f}), "
f"f={value:.10f}, ||g||={gnorm:.8f}")预期输出:
0 x= 4.00000 y= 2.00000 f= 41.000000 ||g||=17.088007
1 x= 2.80000 y= -1.20000 f= 4.520000 ||g||= 4.816638
2 x= 2.08000 y= -1.84000 f= 1.217600 ||g||= 2.252820
3 x= 1.64800 y= -1.96800 f= 0.421952 ||g||= 1.302306
4 x= 1.38880 y= -1.99360 f= 0.151247 ||g||= 0.778021
5 x= 1.23328 y= -1.99872 f= 0.054423 ||g||= 0.466588
6 x= 1.13997 y= -1.99974 f= 0.019591 ||g||= 0.279938
7 x= 1.08398 y= -1.99995 f= 0.007053 ||g||= 0.167962
8 x= 1.05039 y= -1.99999 f= 0.002539 ||g||= 0.100777
start=(4.0, 2.0) -> (1.000110, -2.000000), f=0.0000000120, ||g||=0.00021937
start=(-3.0, 3.0) -> (0.999854, -2.000000), f=0.0000000214, ||g||=0.00029249
start=(5.0, -5.0) -> (1.000146, -2.000000), f=0.0000000214, ||g||=0.00029249初值为什么会改变轨迹
在这个凸问题里,三个初值虽然走过的路径不同,但都会逼近同一个极小点。初值离极小点越远,通常需要更多迭代;不同坐标方向的曲率不同,也会使轨迹出现明显转向,而不是沿直线直接走到终点。
对非凸函数则要更谨慎:不同初值可能落入不同局部极小点,甚至停在鞍点附近。因此“换几个初值再跑一次”不是形式检查,而是判断结果是否依赖初始化的重要实验。
把停止条件写进算法
工程实现通常不会固定迭代到某个次数后强制结束,而会组合停止条件,例如梯度范数小于阈值、相邻两次目标值变化足够小,或达到最大迭代次数。最大迭代次数是安全兜底,梯度范数则更直接对应一阶最优条件。
梯度下降的核心并不是某个固定公式本身,而是建立一条可检查的迭代链:当前位置产生梯度,梯度决定方向,步长决定移动幅度,再用目标值和梯度范数确认这一步是否真的在逼近极小点。