机器学习与深度学习 / 系统课时

理解函数与导数

理解函数与导数

导数解决的是“输入稍微变化时,输出会怎样变化”。读完本节,你会从平均变化率推到导数,再把偏导数和梯度用于一次具体的参数更新,理解训练中“沿哪个方向改参数”到底在计算什么。

学习目标

  • 用平均变化率理解一元函数在某一点的导数。
  • 区分导数、偏导数与梯度,并能手算简单结果。
  • 根据梯度和学习率完成一次参数更新并检查损失是否下降。

从函数值到变化率

设 y=f(x)y=f(x),当输入从 xx 变为 x+hx+h 时,平均变化率是“输出变化量除以输入变化量”:

f(x+h)−f(x)h\frac{f(x+h)-f(x)}{h}

以 f(x)=x2f(x)=x^2、x=2x=2 为例。f(2)=4f(2)=4,当 hh 逐渐缩小时,割线斜率逐渐接近一个稳定值。

hh f(2+h)f(2+h) 平均变化率
0.1 4.41 4.1
0.01 4.0401 4.01
0.001 4.004001 4.001

极限值为 4,因此 f′(2)=4f'(2)=4。对 f(x)=x2f(x)=x^2 求导可得 f′(x)=2xf'(x)=2x,代入 x=2x=2 同样得到 4。导数不是“函数值大小”,而是当前点附近的局部变化速度。

偏导数只看一个方向

多变量函数不能只用一个斜率描述。设 f(x,y)=x2+3xy+y2f(x,y)=x^2+3xy+y^2,对 xx 求偏导时把 yy 当常数,对 yy 求偏导时把 xx 当常数:

∂f∂x=2x+3y,∂f∂y=3x+2y\frac{\partial f}{\partial x}=2x+3y,\qquad \frac{\partial f}{\partial y}=3x+2y

在点 (1,2)(1,2),两项分别是 8 和 7。用有限差分也能检查:只把 xx 从 1 改成 1.01,函数值从 11 变为 11.0801,变化率约为 8.01;只把 yy 改成 2.01,变化率约为 7.01。

这个检查很实用:若手算偏导为 8,而小扰动得到的数值斜率接近 8,说明公式大概率没有把变量或符号写错。

梯度把多维变化率合在一起

梯度就是把所有偏导数组成一个向量。上例在 (1,2)(1,2) 的梯度为 ∇f=(8,7)\nabla f=(8,7);它指向函数上升最快的局部方向,负梯度则给出下降方向。

看一个可直接计算的损失函数:

L(w,b)=(w−3)2+(b+1)2L(w,b)=(w-3)^2+(b+1)^2

在 (w,b)=(0,0)(w,b)=(0,0) 时,L=10L=10,梯度为 (−6,2)(-6,2)。若学习率 η=0.1\eta=0.1,一次梯度下降更新为 (0,0)−0.1(−6,2)=(0.6,−0.2)(0,0)-0.1(-6,2)=(0.6,-0.2);新损失为 6.4,确实比 10 小。

一元导数与二维梯度下降的几何关系

导数如何进入一次参数更新

用最简单的一元线性神经元说明链式求导。设预测 y^=wx+b\hat{y}=wx+b,平方误差 L=(y^−y)2L=(\hat{y}-y)^2。取 x=2x=2、y=5y=5、w=1w=1、b=0b=0,第一次预测为 2,损失为 9。

此时 ∂L∂w=2(y^−y)x=−12\frac{\partial L}{\partial w}=2(\hat{y}-y)x=-12,∂L∂b=2(y^−y)=−6\frac{\partial L}{\partial b}=2(\hat{y}-y)=-6。学习率取 0.05,更新后 w=1.6w=1.6、b=0.3b=0.3;新预测为 3.5,新损失降到 2.25。

这里最值得检查的是方向:若某次更新后损失反而持续增大,先检查梯度符号、学习率和求导链路。导数给出局部变化率,偏导数处理多个参数,梯度把这些变化率汇总成训练时可执行的更新方向。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

理解函数与导数

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通