AI 与工程数学 / 系统课时
用偏导数拆解多个参数的影响
用偏导数拆解多个参数的影响
训练一个带权重和偏置的线性模型时,损失函数会同时受到多个参数影响。怎样判断该调整哪个参数、调整多少?本篇通过一个可手算的平方误差案例,逐项求出权重和偏置的偏导数,再用 Python 数值计算核对结果。
学习目标
- 理解偏导数如何衡量单个参数对损失的局部影响。
- 能对含权重和偏置的平方误差损失函数逐项求偏导。
- 能用数值差分验证解析梯度,并判断梯度方向。
为什么多个参数需要分别求导
考虑只有一个输入特征的线性预测模型:
其中, 是权重,决定输入变化对预测值的影响; 是偏置,决定预测值整体平移多少。给定真实标签 ,使用单样本平方误差损失:
这里的 用于抵消平方求导产生的系数 2,不改变最小值位置。
当 和 同时变化时,损失变化来自两个方向。偏导数的做法是固定其他参数,只考察当前参数变化对损失的局部影响:
- :固定 ,考察 增加一点时损失如何变化。
- :固定 ,考察 增加一点时损失如何变化。
例如取 、、、,预测值为 2,损失为 。接下来分别计算两个参数的影响,不能把它们混成一个导数。
用链式法则逐项求偏导
先定义预测误差:
损失可写为 。误差 同时依赖 和 ,因此求偏导时需要使用链式法则。
对于权重 ,固定 、 和 :
对于偏置 ,固定 、 和 :
两个偏导数具有共同的误差因子 ,但权重的偏导数还需要乘输入 。这是因为权重改变 时,预测值改变 ;偏置改变 时,预测值直接改变 。
代入前面的数值,误差 ,得到:
梯度向量为 ,分别对应参数顺序 。负号表示在当前位置单独增大相应参数,会使损失的一阶近似减小;绝对值表示单位参数变化对应的局部敏感程度。

用实际数字验证两个方向
偏导数描述当前位置的局部变化,不代表任意大步长下的精确损失变化。仍使用 、、、,分别只增加一个参数 0.01。
| 参数设置 | 预测值 | 损失 | 相比原损失 |
|---|---|---|---|
| 2.00 | 4.50000 | 0 | |
| 2.02 | 4.44020 | -0.05980 | |
| 2.01 | 4.47005 | -0.02995 |
利用一阶近似 ,权重改变 0.01 的预计损失变化为 ;偏置改变 0.01 的预计变化为 。
实际结果与近似值略有差异,是因为平方损失还包含二阶变化项。步长越小,在当前光滑函数上,一阶近似通常越准确。
这个例子还说明:虽然权重的偏导数绝对值是偏置的两倍,但不能直接推断所有数据集上权重都更重要。输入尺度不同、参数单位不同,都会影响梯度大小。比较参数敏感程度时,必须考虑特征尺度。
用 Python 核对解析梯度
除了手工推导,还可以用中心差分近似偏导数。对于参数 ,保持其他参数不变,计算:
这里取 ,只使用 Python 3 标准库即可运行。
def loss(w, b, x, y):
error = w * x + b - y
return 0.5 * error ** 2
def analytical_grad(w, b, x, y):
error = w * x + b - y
# 每个参数只计算自己的偏导数
return error * x, error
def numerical_grad(w, b, x, y, h=1e-5):
# 中心差分:扰动一个参数时固定另一个参数
dw = (loss(w + h, b, x, y) - loss(w - h, b, x, y)) / (2 * h)
db = (loss(w, b + h, x, y) - loss(w, b - h, x, y)) / (2 * h)
return dw, db
def main():
w, b, x, y = 1.0, 0.0, 2.0, 5.0
analytic = analytical_grad(w, b, x, y)
numeric = numerical_grad(w, b, x, y)
print(f"loss={loss(w, b, x, y):.5f}")
print(f"analytic=({analytic[0]:.5f}, {analytic[1]:.5f})")
print(f"numeric=({numeric[0]:.5f}, {numeric[1]:.5f})")
print(f"max_error={max(abs(a - n) for a, n in zip(analytic, numeric)):.2e}")
if __name__ == "__main__":
main()预期输出(最后一项为浮点计算误差,实际末位可能因运行环境略有差异):
loss=4.50000
analytic=(-6.00000, -3.00000)
numeric=(-6.00000, -3.00000)
max_error=0.00e+00如果两组梯度接近,说明解析推导在这一测试点通过了数值核对。max_error 衡量两个分量的最大绝对差;本例接近机器精度,格式化后通常显示为零,但不应要求所有计算都严格等于零。
实际检查时,可以将 、 改成其他值再运行。不要只在误差 的位置测试,因为此时两个梯度都为零,部分错误实现也可能侥幸通过。差分步长过大时截断误差明显,过小时又容易受到浮点舍入影响。
把两个偏导用于参数更新
梯度下降使用负梯度方向更新参数。设学习率 ,从 、 出发,更新公式为:
更新后的预测值为 ,新损失为 ,相比原来的 4.5 明显下降。
更新时要区分两个容易混淆的操作:计算偏导数时固定其他参数,得到同一位置的梯度;实际梯度下降则通常先计算完整梯度,再基于同一组旧参数同步更新所有参数。如果先修改 ,再用新 计算 的偏导数,那就不是上述同步梯度下降步骤。
对于多个样本,若采用平均平方误差 ,两个梯度相应变为 和 。其中 。计算顺序仍然是先获得各样本误差,再分别累加每个参数的贡献。
可以再试一次将输入改为 :此时权重的偏导数恒为零,而偏置的偏导数仍可能非零。这能直接检验是否真正理解了两个参数对预测值的不同作用。