AI 与工程数学 / 系统课时
用负梯度写出参数更新公式
用负梯度写出参数更新公式
训练 AI 模型时,计算出损失函数的梯度只是第一步,还需要把梯度转化为具体的参数更新。本课从局部线性近似推导梯度下降公式,通过一个二次函数完成手工计算和 Python 验证,并说明学习率为何决定每一步的更新幅度。
学习目标
- 理解负梯度为什么是损失函数局部下降最快的方向。
- 掌握梯度下降更新公式,并能手算一次参数更新。
- 使用 Python 验证更新前后的损失变化,识别学习率过大的问题。
为什么沿负梯度更新参数
假设模型的参数是向量 ,损失函数为 。我们的目标是调整参数,使损失尽可能小。
在当前参数 附近,对损失函数进行一阶泰勒近似:
其中, 是损失函数对各参数的偏导数组成的梯度向量, 是准备执行的参数变化量。
这个公式告诉我们:对于足够小的参数变化,损失的变化主要由梯度与更新向量的内积决定。
假设限制更新步长为 。根据柯西–施瓦茨不等式:
当梯度非零,并且更新方向与梯度完全相反时,内积取得最小值。因此,在欧氏距离度量下,负梯度是局部一阶近似中下降最快的方向。
需要注意,这个结论限定了相同的更新长度,并采用局部一阶近似。它不意味着任意大小的负梯度步长都能降低真实损失,也不保证一次更新就能找到全局最优解。
例如,某点的二维梯度为 。若只允许移动 个单位长度,最陡下降方向对应的更新为 ,而不是直接移动 。

从下降方向得到更新公式
知道下降方向后,还需要决定沿这个方向移动多远。最简单的做法是将负梯度乘以一个正数 ,称为学习率。
梯度下降的更新公式为:
各符号的意义如下:
- :更新前的参数。
- :在当前参数位置计算的梯度。
- :学习率,控制更新幅度,要求 。
- :执行一次更新后得到的新参数。
对于含有 个参数的模型,逐个参数更新时使用同一规则:
注意,所有参数的梯度都应基于同一个旧参数向量 计算,不能更新第一个参数后,立即拿更新后的值去计算第二个参数的梯度,否则算法已经发生变化。
例如当前梯度是 ,学习率为 ,则更新量为 。第一个参数减小 ,第二个参数增大 。负梯度更新并不代表所有参数都变小,而是根据各自梯度的正负选择变化方向。
手算一次梯度下降
考虑一个只有单个参数的损失函数:
它的最小值位于 ,对应损失为 。对 求导:
设初始参数 ,学习率 ,执行一次更新。
首先计算更新前的损失:
然后计算当前位置的梯度:
代入梯度下降更新公式:
最后重新计算更新后的损失:
本次更新使参数从 变为 ,损失从 降到 ,下降了 ,即 。
继续使用相同学习率,可以得到以下结果:
| 更新次数 | 参数 | 损失 |
|---|---|---|
| 0 | 0.000 | 9.0000 |
| 1 | 0.600 | 5.7600 |
| 2 | 1.080 | 3.6864 |
| 3 | 1.464 | 2.3593 |
每次更新后,参数都向最优位置 靠近。在这个例子中,更新量逐渐变小,是因为参数接近最优点时,梯度的绝对值也在减小。
使用 Python 验证参数与损失变化
下面使用 Python 3 标准库即可运行的代码,复现前面三次更新。不需要安装 NumPy 或深度学习框架。
def loss(w: float) -> float:
return (w - 3.0) ** 2
def gradient(w: float) -> float:
return 2.0 * (w - 3.0)
def main() -> None:
w = 0.0
learning_rate = 0.1
print(f"step=0, w={w:.3f}, loss={loss(w):.4f}")
for step in range(1, 4):
# 梯度必须在更新前的参数位置计算
grad = gradient(w)
old_loss = loss(w)
w = w - learning_rate * grad
new_loss = loss(w)
# 检查本次更新是否真的降低了损失
assert new_loss < old_loss
print(f"step={step}, w={w:.3f}, loss={new_loss:.4f}")
if __name__ == "__main__":
main()预期输出:
step=0, w=0.000, loss=9.0000
step=1, w=0.600, loss=5.7600
step=2, w=1.080, loss=3.6864
step=3, w=1.464, loss=2.3593代码通过 gradient(w) 获取当前梯度,再执行 w = w - learning_rate * grad。这就是训练模型时最基础的参数更新操作。
这里的断言只用于验证当前示例。一般非凸损失函数、使用随机小批量梯度的训练,以及不合适的学习率,都可能出现单步损失增加,因此不能将每一步损失严格下降作为所有训练算法的通用要求。
学习率为什么会改变更新结果
负梯度提供方向,学习率决定更新步幅。对同一个函数 ,保持初始参数 不变,只调整学习率,就能看出明显区别。
| 学习率 | 更新后的 | 更新后损失 | 现象 |
|---|---|---|---|
| 0.1 | 0.6 | 5.76 | 向最优点移动 |
| 0.5 | 3.0 | 0 | 一步到达最优点 |
| 0.9 | 5.4 | 5.76 | 越过最优点但损失下降 |
| 1.0 | 6.0 | 9 | 损失不变,可能来回振荡 |
| 1.2 | 7.2 | 17.64 | 更新后损失增大 |
这个二次函数还能精确分析学习率边界。将梯度代入更新公式:
令误差 ,得到:
因此,当初始参数不是最优点时,要让误差绝对值逐次缩小,必须满足:
即:
这是当前二次函数的收敛条件,不是所有模型都适用的固定学习率范围。其他函数的曲率、参数尺度和梯度噪声不同,合适的学习率也会不同。
可以将 Python 示例中的 learning_rate 改为 1.2 再运行。第一次更新时,损失会从 9.0000 增加到 17.6400,触发断言。这是一个有意设计的失败实验,说明负梯度本身不能保证任意学习率下的单步下降。
怎样判断一次参数更新是否有效
验证梯度下降时,至少记录当前参数、当前梯度、学习率以及更新前后的损失。对于使用同一批数据计算的确定性损失函数,可以直接比较更新前后的数值。
一次可靠的检查可以按以下顺序执行:
- 在旧参数位置计算损失 。
- 在同一位置计算梯度 。
- 执行 。
- 使用更新后的参数重新计算损失 。
- 比较两次损失,并检查参数与梯度是否为有限数值。
如果损失没有下降,先检查梯度公式的正负号,再检查是否使用了正确的参数值和学习率。对于本课的二次函数,还可以通过手算与 Python 输出逐项对照,排除实现错误。
在实际 AI 模型训练中,随机小批量的损失会有波动,应该结合固定验证集上的趋势判断训练效果,而不是只看某个批次的一步结果。
最终需要掌握的计算链条是:在当前参数处计算梯度,乘以学习率得到更新量,沿负梯度更新参数,再重新计算损失验证效果。梯度决定局部方向,学习率控制步幅,两者共同决定一次训练更新的实际结果。