机器学习与深度学习 / 系统课时

理解函数与导数

理解函数与导数

训练神经网络时,优化器需要知道参数往哪个方向调整才能让损失变小。导数描述单变量函数的瞬时变化率,偏导数把这个概念扩展到多变量函数,梯度则把所有偏导数组成一个方向向量。理解这三者,就能看懂反向传播最终交给优化器的数值代表什么。

学习目标

  • 能用具体数值解释平均变化率与导数的区别
  • 能计算简单多变量函数的偏导数与梯度
  • 能说明梯度下降为什么使用参数减去梯度

从变化率得到导数

函数把输入映射为输出,例如 f(x)=x2f(x)=x^2。从 x=2x=2 变化到 x=3x=3 时,函数值从 4 变为 9,这一段的平均变化率为 (9−4)/(3−2)=5(9-4)/(3-2)=5。它描述整个区间的平均斜率,而不是 x=2x=2 这一点的瞬时斜率。

把输入变化量缩小到趋近于 0,就得到导数定义:

f′(x)=lim⁡h→0f(x+h)−f(x)hf'(x)=\lim_{h\to0}\frac{f(x+h)-f(x)}{h}

对 f(x)=x2f(x)=x^2 求导可得 f′(x)=2xf'(x)=2x,所以 f′(2)=4f'(2)=4。这意味着当 xx 在 2 附近增加一个很小的量,例如 0.01,函数值大约增加 4×0.01=0.044\times0.01=0.04。实际计算 2.012−22=0.04012.01^2-2^2=0.0401,与线性近似非常接近。

多变量函数需要偏导数

神经网络的损失通常同时依赖成千上万个参数,因此不能只对一个变量求导。以简单损失函数 L(w,b)=(2w+b−5)2L(w,b)=(2w+b-5)^2 为例,分别固定另一个变量,就能得到对 ww 和 bb 的偏导数:

∂L∂w=4(2w+b−5)\frac{\partial L}{\partial w}=4(2w+b-5)
∂L∂b=2(2w+b−5)\frac{\partial L}{\partial b}=2(2w+b-5)

当 w=1w=1、b=1b=1 时,2w+b−5=−22w+b-5=-2,因此 ∂L∂w=−8\frac{\partial L}{\partial w}=-8,∂L∂b=−4\frac{\partial L}{\partial b}=-4。负号表示在当前位置增加对应参数会使损失下降。

实际检查偏导数时可以只改变一个变量。例如保持 b=1b=1,把 ww 从 1 增加到 1.01,损失从 4 下降到约 3.9204,变化方向确实与负偏导数一致。

梯度把所有方向合在一起

多个偏导数按参数顺序组成梯度。上例在 (w,b)=(1,1)(w,b)=(1,1) 时的梯度为 ∇L=(−8,−4)\nabla L=(-8,-4)。梯度指向函数值局部增长最快的方向,因此要降低损失,应沿梯度的反方向移动。

损失函数等高线、梯度方向与梯度下降方向的关系

若学习率取 η=0.1\eta=0.1,梯度下降更新规则为:

wnew=1−0.1×(−8)=1.8w_{new}=1-0.1\times(-8)=1.8
bnew=1−0.1×(−4)=1.4b_{new}=1-0.1\times(-4)=1.4

更新后 2×1.8+1.4=52\times1.8+1.4=5,损失正好从 4 降到 0。实际神经网络的损失面远比这个例子复杂,一次更新通常不会直接到达最优点,但计算逻辑完全相同。

读懂训练中的梯度

训练时每个可学习参数都会得到一个与自身形状相同的梯度。若某个权重矩阵有 128×64=8192128\times64=8192 个参数,就会对应 8192 个偏导数;优化器根据这些数值同时更新全部元素。

检查梯度时可以记住三个直接可用的判断:梯度长期接近 0 时参数几乎不更新;梯度绝对值持续非常大时容易造成训练不稳定;损失下降方向使用的是 −∇L-\nabla L,如果误写成加上梯度,就会朝损失上升方向移动。导数、偏导数和梯度并不是三套独立概念,而是从单变量变化率逐步扩展到神经网络多参数优化的同一套数学工具。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

理解函数与导数

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通