AI 与工程数学 / 系统课时

用偏导数拆解多个参数的影响

用偏导数拆解多个参数的影响

训练一个带权重和偏置的线性模型时,损失函数会同时受到多个参数影响。怎样判断该调整哪个参数、调整多少?本篇通过一个可手算的平方误差案例,逐项求出权重和偏置的偏导数,再用 Python 数值计算核对结果。

学习目标

  • 理解偏导数如何衡量单个参数对损失的局部影响。
  • 能对含权重和偏置的平方误差损失函数逐项求偏导。
  • 能用数值差分验证解析梯度,并判断梯度方向。

为什么多个参数需要分别求导

考虑只有一个输入特征的线性预测模型:

y^=wx+b\hat{y}=wx+b

其中,ww 是权重,决定输入变化对预测值的影响;bb 是偏置,决定预测值整体平移多少。给定真实标签 yy,使用单样本平方误差损失:

L(w,b)=12(wx+b−y)2L(w,b)=\frac{1}{2}(wx+b-y)^2

这里的 12\frac{1}{2} 用于抵消平方求导产生的系数 2,不改变最小值位置。

当 ww 和 bb 同时变化时,损失变化来自两个方向。偏导数的做法是固定其他参数,只考察当前参数变化对损失的局部影响:

  • ∂L∂w\frac{\partial L}{\partial w}:固定 bb,考察 ww 增加一点时损失如何变化。
  • ∂L∂b\frac{\partial L}{\partial b}:固定 ww,考察 bb 增加一点时损失如何变化。

例如取 x=2x=2、y=5y=5、w=1w=1、b=0b=0,预测值为 2,损失为 12(2−5)2=4.5\frac{1}{2}(2-5)^2=4.5。接下来分别计算两个参数的影响,不能把它们混成一个导数。

用链式法则逐项求偏导

先定义预测误差:

e=wx+b−ye=wx+b-y

损失可写为 L=12e2L=\frac{1}{2}e^2。误差 ee 同时依赖 ww 和 bb,因此求偏导时需要使用链式法则。

对于权重 ww,固定 bb、xx 和 yy:

∂L∂w=∂L∂e∂e∂w=e⋅x=(wx+b−y)x\frac{\partial L}{\partial w}=\frac{\partial L}{\partial e}\frac{\partial e}{\partial w}=e\cdot x=(wx+b-y)x

对于偏置 bb,固定 ww、xx 和 yy:

∂L∂b=∂L∂e∂e∂b=e⋅1=wx+b−y\frac{\partial L}{\partial b}=\frac{\partial L}{\partial e}\frac{\partial e}{\partial b}=e\cdot 1=wx+b-y

两个偏导数具有共同的误差因子 ee,但权重的偏导数还需要乘输入 xx。这是因为权重改变 Δw\Delta w 时,预测值改变 xΔwx\Delta w;偏置改变 Δb\Delta b 时,预测值直接改变 Δb\Delta b。

代入前面的数值,误差 e=2−5=−3e=2-5=-3,得到:

∂L∂w=−3×2=−6\frac{\partial L}{\partial w}=-3\times 2=-6
∂L∂b=−3\frac{\partial L}{\partial b}=-3

梯度向量为 ∇L=(−6,−3)\nabla L=(-6,-3),分别对应参数顺序 (w,b)(w,b)。负号表示在当前位置单独增大相应参数,会使损失的一阶近似减小;绝对值表示单位参数变化对应的局部敏感程度。

线性模型中权重与偏置对损失影响的关系示意图

用实际数字验证两个方向

偏导数描述当前位置的局部变化,不代表任意大步长下的精确损失变化。仍使用 x=2x=2、y=5y=5、w=1w=1、b=0b=0,分别只增加一个参数 0.01。

参数设置 预测值 损失 相比原损失
w=1,b=0w=1,b=0 2.00 4.50000 0
w=1.01,b=0w=1.01,b=0 2.02 4.44020 -0.05980
w=1,b=0.01w=1,b=0.01 2.01 4.47005 -0.02995

利用一阶近似 ΔL≈∂L∂θΔθ\Delta L\approx \frac{\partial L}{\partial \theta}\Delta\theta,权重改变 0.01 的预计损失变化为 −6×0.01=−0.06-6\times0.01=-0.06;偏置改变 0.01 的预计变化为 −3×0.01=−0.03-3\times0.01=-0.03。

实际结果与近似值略有差异,是因为平方损失还包含二阶变化项。步长越小,在当前光滑函数上,一阶近似通常越准确。

这个例子还说明:虽然权重的偏导数绝对值是偏置的两倍,但不能直接推断所有数据集上权重都更重要。输入尺度不同、参数单位不同,都会影响梯度大小。比较参数敏感程度时,必须考虑特征尺度。

用 Python 核对解析梯度

除了手工推导,还可以用中心差分近似偏导数。对于参数 θ\theta,保持其他参数不变,计算:

∂L∂θ≈L(θ+h)−L(θ−h)2h\frac{\partial L}{\partial \theta}\approx\frac{L(\theta+h)-L(\theta-h)}{2h}

这里取 h=10−5h=10^{-5},只使用 Python 3 标准库即可运行。

python
def loss(w, b, x, y):
    error = w * x + b - y
    return 0.5 * error ** 2


def analytical_grad(w, b, x, y):
    error = w * x + b - y
    # 每个参数只计算自己的偏导数
    return error * x, error


def numerical_grad(w, b, x, y, h=1e-5):
    # 中心差分:扰动一个参数时固定另一个参数
    dw = (loss(w + h, b, x, y) - loss(w - h, b, x, y)) / (2 * h)
    db = (loss(w, b + h, x, y) - loss(w, b - h, x, y)) / (2 * h)
    return dw, db


def main():
    w, b, x, y = 1.0, 0.0, 2.0, 5.0
    analytic = analytical_grad(w, b, x, y)
    numeric = numerical_grad(w, b, x, y)

    print(f"loss={loss(w, b, x, y):.5f}")
    print(f"analytic=({analytic[0]:.5f}, {analytic[1]:.5f})")
    print(f"numeric=({numeric[0]:.5f}, {numeric[1]:.5f})")
    print(f"max_error={max(abs(a - n) for a, n in zip(analytic, numeric)):.2e}")


if __name__ == "__main__":
    main()

预期输出(最后一项为浮点计算误差,实际末位可能因运行环境略有差异):

text
loss=4.50000
analytic=(-6.00000, -3.00000)
numeric=(-6.00000, -3.00000)
max_error=0.00e+00

如果两组梯度接近,说明解析推导在这一测试点通过了数值核对。max_error 衡量两个分量的最大绝对差;本例接近机器精度,格式化后通常显示为零,但不应要求所有计算都严格等于零。

实际检查时,可以将 ww、bb 改成其他值再运行。不要只在误差 e=0e=0 的位置测试,因为此时两个梯度都为零,部分错误实现也可能侥幸通过。差分步长过大时截断误差明显,过小时又容易受到浮点舍入影响。

把两个偏导用于参数更新

梯度下降使用负梯度方向更新参数。设学习率 η=0.1\eta=0.1,从 w=1w=1、b=0b=0 出发,更新公式为:

wnew=w−η∂L∂w=1−0.1(−6)=1.6w_{new}=w-\eta\frac{\partial L}{\partial w}=1-0.1(-6)=1.6
bnew=b−η∂L∂b=0−0.1(−3)=0.3b_{new}=b-\eta\frac{\partial L}{\partial b}=0-0.1(-3)=0.3

更新后的预测值为 1.6×2+0.3=3.51.6\times2+0.3=3.5,新损失为 12(3.5−5)2=1.125\frac{1}{2}(3.5-5)^2=1.125,相比原来的 4.5 明显下降。

更新时要区分两个容易混淆的操作:计算偏导数时固定其他参数,得到同一位置的梯度;实际梯度下降则通常先计算完整梯度,再基于同一组旧参数同步更新所有参数。如果先修改 ww,再用新 ww 计算 bb 的偏导数,那就不是上述同步梯度下降步骤。

对于多个样本,若采用平均平方误差 L=12n∑i=1n(wxi+b−yi)2L=\frac{1}{2n}\sum_{i=1}^{n}(wx_i+b-y_i)^2,两个梯度相应变为 1n∑i=1neixi\frac{1}{n}\sum_{i=1}^{n}e_ix_i 和 1n∑i=1nei\frac{1}{n}\sum_{i=1}^{n}e_i。其中 ei=wxi+b−yie_i=wx_i+b-y_i。计算顺序仍然是先获得各样本误差,再分别累加每个参数的贡献。

可以再试一次将输入改为 x=0x=0:此时权重的偏导数恒为零,而偏置的偏导数仍可能非零。这能直接检验是否真正理解了两个参数对预测值的不同作用。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用偏导数拆解多个参数的影响

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通