AI 与工程数学 / 系统课时

用负梯度写出参数更新公式

用负梯度写出参数更新公式

训练 AI 模型时,计算出损失函数的梯度只是第一步,还需要把梯度转化为具体的参数更新。本课从局部线性近似推导梯度下降公式,通过一个二次函数完成手工计算和 Python 验证,并说明学习率为何决定每一步的更新幅度。

学习目标

  • 理解负梯度为什么是损失函数局部下降最快的方向。
  • 掌握梯度下降更新公式,并能手算一次参数更新。
  • 使用 Python 验证更新前后的损失变化,识别学习率过大的问题。

为什么沿负梯度更新参数

假设模型的参数是向量 θ\theta,损失函数为 L(θ)L(\theta)。我们的目标是调整参数,使损失尽可能小。

在当前参数 θ\theta 附近,对损失函数进行一阶泰勒近似:

L(θ+Δθ)≈L(θ)+∇L(θ)TΔθL(\theta+\Delta\theta)\approx L(\theta)+\nabla L(\theta)^T\Delta\theta

其中,∇L(θ)\nabla L(\theta) 是损失函数对各参数的偏导数组成的梯度向量,Δθ\Delta\theta 是准备执行的参数变化量。

这个公式告诉我们:对于足够小的参数变化,损失的变化主要由梯度与更新向量的内积决定。

假设限制更新步长为 ∥Δθ∥=r\|\Delta\theta\|=r。根据柯西–施瓦茨不等式:

∇L(θ)TΔθ≥−∥∇L(θ)∥r\nabla L(\theta)^T\Delta\theta\geq-\|\nabla L(\theta)\|r

当梯度非零,并且更新方向与梯度完全相反时,内积取得最小值。因此,在欧氏距离度量下,负梯度是局部一阶近似中下降最快的方向。

需要注意,这个结论限定了相同的更新长度,并采用局部一阶近似。它不意味着任意大小的负梯度步长都能降低真实损失,也不保证一次更新就能找到全局最优解。

例如,某点的二维梯度为 (3,4)(3,4)。若只允许移动 0.10.1 个单位长度,最陡下降方向对应的更新为 (−0.06,−0.08)(-0.06,-0.08),而不是直接移动 (−3,−4)(-3,-4)。

二维损失等高线与负梯度下降方向

从下降方向得到更新公式

知道下降方向后,还需要决定沿这个方向移动多远。最简单的做法是将负梯度乘以一个正数 η\eta,称为学习率。

梯度下降的更新公式为:

θt+1=θt−η∇L(θt)\theta_{t+1}=\theta_t-\eta\nabla L(\theta_t)

各符号的意义如下:

  • θt\theta_t:更新前的参数。
  • ∇L(θt)\nabla L(\theta_t):在当前参数位置计算的梯度。
  • η\eta:学习率,控制更新幅度,要求 η>0\eta>0。
  • θt+1\theta_{t+1}:执行一次更新后得到的新参数。

对于含有 nn 个参数的模型,逐个参数更新时使用同一规则:

θi,t+1=θi,t−η∂L∂θi(θt)\theta_{i,t+1}=\theta_{i,t}-\eta\frac{\partial L}{\partial\theta_i}(\theta_t)

注意,所有参数的梯度都应基于同一个旧参数向量 θt\theta_t 计算,不能更新第一个参数后,立即拿更新后的值去计算第二个参数的梯度,否则算法已经发生变化。

例如当前梯度是 (2,−6)(2,-6),学习率为 0.10.1,则更新量为 (−0.2,0.6)(-0.2,0.6)。第一个参数减小 0.20.2,第二个参数增大 0.60.6。负梯度更新并不代表所有参数都变小,而是根据各自梯度的正负选择变化方向。

手算一次梯度下降

考虑一个只有单个参数的损失函数:

L(w)=(w−3)2L(w)=(w-3)^2

它的最小值位于 w=3w=3,对应损失为 00。对 ww 求导:

dLdw=2(w−3)\frac{dL}{dw}=2(w-3)

设初始参数 w0=0w_0=0,学习率 η=0.1\eta=0.1,执行一次更新。

首先计算更新前的损失:

L(w0)=(0−3)2=9L(w_0)=(0-3)^2=9

然后计算当前位置的梯度:

g0=2(0−3)=−6g_0=2(0-3)=-6

代入梯度下降更新公式:

w1=0−0.1×(−6)=0.6w_1=0-0.1\times(-6)=0.6

最后重新计算更新后的损失:

L(w1)=(0.6−3)2=5.76L(w_1)=(0.6-3)^2=5.76

本次更新使参数从 00 变为 0.60.6,损失从 99 降到 5.765.76,下降了 3.243.24,即 36%36\%。

继续使用相同学习率,可以得到以下结果:

更新次数 参数 ww 损失 L(w)L(w)
0 0.000 9.0000
1 0.600 5.7600
2 1.080 3.6864
3 1.464 2.3593

每次更新后,参数都向最优位置 33 靠近。在这个例子中,更新量逐渐变小,是因为参数接近最优点时,梯度的绝对值也在减小。

使用 Python 验证参数与损失变化

下面使用 Python 3 标准库即可运行的代码,复现前面三次更新。不需要安装 NumPy 或深度学习框架。

python
def loss(w: float) -> float:
    return (w - 3.0) ** 2


def gradient(w: float) -> float:
    return 2.0 * (w - 3.0)


def main() -> None:
    w = 0.0
    learning_rate = 0.1

    print(f"step=0, w={w:.3f}, loss={loss(w):.4f}")

    for step in range(1, 4):
        # 梯度必须在更新前的参数位置计算
        grad = gradient(w)
        old_loss = loss(w)
        w = w - learning_rate * grad
        new_loss = loss(w)

        # 检查本次更新是否真的降低了损失
        assert new_loss < old_loss
        print(f"step={step}, w={w:.3f}, loss={new_loss:.4f}")


if __name__ == "__main__":
    main()

预期输出:

text
step=0, w=0.000, loss=9.0000
step=1, w=0.600, loss=5.7600
step=2, w=1.080, loss=3.6864
step=3, w=1.464, loss=2.3593

代码通过 gradient(w) 获取当前梯度,再执行 w = w - learning_rate * grad。这就是训练模型时最基础的参数更新操作。

这里的断言只用于验证当前示例。一般非凸损失函数、使用随机小批量梯度的训练,以及不合适的学习率,都可能出现单步损失增加,因此不能将每一步损失严格下降作为所有训练算法的通用要求。

学习率为什么会改变更新结果

负梯度提供方向,学习率决定更新步幅。对同一个函数 L(w)=(w−3)2L(w)=(w-3)^2,保持初始参数 w0=0w_0=0 不变,只调整学习率,就能看出明显区别。

学习率 η\eta 更新后的 w1w_1 更新后损失 现象
0.1 0.6 5.76 向最优点移动
0.5 3.0 0 一步到达最优点
0.9 5.4 5.76 越过最优点但损失下降
1.0 6.0 9 损失不变,可能来回振荡
1.2 7.2 17.64 更新后损失增大

这个二次函数还能精确分析学习率边界。将梯度代入更新公式:

wt+1=wt−2η(wt−3)w_{t+1}=w_t-2\eta(w_t-3)

令误差 et=wt−3e_t=w_t-3,得到:

et+1=(1−2η)ete_{t+1}=(1-2\eta)e_t

因此,当初始参数不是最优点时,要让误差绝对值逐次缩小,必须满足:

∣1−2η∣<1|1-2\eta|<1

即:

0<η<10<\eta<1

这是当前二次函数的收敛条件,不是所有模型都适用的固定学习率范围。其他函数的曲率、参数尺度和梯度噪声不同,合适的学习率也会不同。

可以将 Python 示例中的 learning_rate 改为 1.2 再运行。第一次更新时,损失会从 9.0000 增加到 17.6400,触发断言。这是一个有意设计的失败实验,说明负梯度本身不能保证任意学习率下的单步下降。

怎样判断一次参数更新是否有效

验证梯度下降时,至少记录当前参数、当前梯度、学习率以及更新前后的损失。对于使用同一批数据计算的确定性损失函数,可以直接比较更新前后的数值。

一次可靠的检查可以按以下顺序执行:

  1. 在旧参数位置计算损失 L(θt)L(\theta_t)。
  2. 在同一位置计算梯度 ∇L(θt)\nabla L(\theta_t)。
  3. 执行 θt+1=θt−η∇L(θt)\theta_{t+1}=\theta_t-\eta\nabla L(\theta_t)。
  4. 使用更新后的参数重新计算损失 L(θt+1)L(\theta_{t+1})。
  5. 比较两次损失,并检查参数与梯度是否为有限数值。

如果损失没有下降,先检查梯度公式的正负号,再检查是否使用了正确的参数值和学习率。对于本课的二次函数,还可以通过手算与 Python 输出逐项对照,排除实现错误。

在实际 AI 模型训练中,随机小批量的损失会有波动,应该结合固定验证集上的趋势判断训练效果,而不是只看某个批次的一步结果。

最终需要掌握的计算链条是:在当前参数处计算梯度,乘以学习率得到更新量,沿负梯度更新参数,再重新计算损失验证效果。梯度决定局部方向,学习率控制步幅,两者共同决定一次训练更新的实际结果。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用负梯度写出参数更新公式

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通