机器学习与深度学习 / 系统课时

导数与梯度

导数与梯度

训练模型的核心不是反复“试参数”,而是根据损失函数对参数的变化方向进行更新。本课从优化角度解释导数、偏导数、梯度和链式法则,并用 PyTorch 验证一次完整的梯度计算。

学习目标

  • 理解导数、偏导数和梯度分别描述什么变化
  • 掌握梯度下降为什么沿负梯度方向更新参数
  • 通过链式法则解释 PyTorch 反向传播的计算结果

从参数优化看导数

当模型只有一个参数 ww 时,导数描述损失函数在当前位置随 ww 变化的速度。导数为正,增大 ww 会让损失上升;导数为负,增大 ww 会让损失下降;导数接近零,表示当前位置可能接近极值点。

以单个样本为例,预测值为 wxwx,目标值为 tt,平方误差可以写成:

L(w)=(wx−t)2L(w) = (wx - t)^2

它对参数 ww 的导数为:

dLdw=2(wx−t)x\frac{dL}{dw} = 2(wx - t)x

这个结果同时包含误差大小和输入大小,因此相同误差在不同输入尺度下会产生不同更新幅度。

偏导数与梯度

实际模型通常包含大量参数。对某一个参数求变化率得到偏导数,把所有参数的偏导数组合起来,就得到梯度向量:

∇L=[∂L∂w1,∂L∂w2,…,∂L∂wn]\nabla L = \left[ \frac{\partial L}{\partial w_1}, \frac{\partial L}{\partial w_2}, \ldots, \frac{\partial L}{\partial w_n} \right]

梯度指向损失增长最快的方向,因此最小化损失时要向负梯度方向移动。梯度的每个分量,都对应一个参数应该如何调整。

梯度方向与链式法则计算图

链式法则连接整个计算过程

神经网络的损失通常由多层运算得到。链式法则把“最终损失对中间结果的变化率”和“中间结果对参数的变化率”相乘,从而得到最终损失对参数的梯度。

若先计算 y=w⋅xy = w \cdot x,再计算 L=(y−t)2L = (y - t)^2,则有:

∂L∂w=∂L∂y∂y∂w=2(y−t)x\frac{\partial L}{\partial w} = \frac{\partial L}{\partial y} \frac{\partial y}{\partial w} = 2(y-t)x

PyTorch 会在前向计算时记录这些运算关系,调用 backward() 后再按相反顺序应用链式法则,因此开发者不必手工展开每一层导数。

用 PyTorch 验证梯度

下面使用两个参数完成一次前向计算和反向传播。为了便于核对,输入、目标值和预期梯度都选择为可手算的数值。

python
import torch

def main() -> None:
    w = torch.tensor([2.0, -1.0], requires_grad=True)
    x = torch.tensor([3.0, 4.0])
    target = torch.tensor(5.0)

    # y = 2×3 + (-1)×4 = 2
    y = (w * x).sum()
    loss = (y - target) ** 2

    # 根据计算图反向求出 loss 对 w 的梯度
    loss.backward()

    print(f"y = {y.item():.1f}")
    print(f"loss = {loss.item():.1f}")
    print("gradient =", w.grad.tolist())

if __name__ == "__main__":
    main()

预期输出

text
y = 2.0
loss = 9.0
gradient = [-18.0, -24.0]

这里 y−t=−3y-t=-3,所以梯度为 2(y−t)x=−6[3,4]=[−18,−24]2(y-t)x=-6[3,4]=[-18,-24]。结果与 PyTorch 输出一致,说明 backward() 正确应用了链式法则。

梯度如何驱动参数更新

梯度下降的基本更新规则是:

wnew=w−η∇Lw_{new} = w - \eta \nabla L

其中 η\eta 是学习率。减号表示沿负梯度方向移动;学习率过大可能越过低点并导致震荡,过小则会让训练非常缓慢。

PyTorch 的梯度默认会累加到 .grad。如果在循环中多次调用 backward(),通常要在下一次反向传播前执行优化器的 zero_grad(),否则本轮梯度会与上一轮相加。这是训练代码中最常见的梯度使用边界之一。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

导数与梯度

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通