高等数学 / 系统课时

高阶导数

高阶导数

一阶导数描述函数变化得有多快,高阶导数继续追踪“变化率如何变化”。本课重点理解二阶导数的含义,并把它应用到运动加速度、函数凹凸性以及 AI 优化中损失函数的弯曲程度判断。

学习目标

  • 写出二阶及更高阶导数的常用记号
  • 用二阶导数判断变化率的增减与函数凹凸性
  • 理解高阶导数在运动和优化问题中的作用

高阶导数是什么

设函数 y=f(x)y=f(x) 可导,一阶导数为:

f′(x)=dydxf'(x)=\frac{dy}{dx}

如果 f′(x)f'(x) 仍然可导,就可以继续求导,得到二阶导数:

f′′(x)=d2ydx2f''(x)=\frac{d^2y}{dx^2}

继续求导可得到 f(3)(x)f^{(3)}(x)、f(4)(x)f^{(4)}(x) 等。注意 d2ydx2\frac{d^2y}{dx^2} 是二阶导数的整体记号,不应理解成普通分数的平方。

二阶导数的直观意义

一阶导数回答“函数当前上升或下降得多快”,二阶导数回答“这个速度正在增大还是减小”。

在一个区间内检查 f′′f'',可以判断斜率的整体变化。

  • 若 f′′(x)>0f''(x)>0 在区间内处处成立,f′f' 随 xx 增大,图像向上弯。
  • 若 f′′(x)<0f''(x)<0 在区间内处处成立,f′f' 随 xx 减小,图像向下弯。
  • 若某点 f′′(x)=0f''(x)=0,还须检查两侧凹凸性是否不同。也有二阶导数不存在的拐点。

一阶导数与二阶导数的关系

主示例:逐阶求导

设 f(x)=x3−3x2+2f(x)=x^3-3x^2+2。对每一阶导数继续求导,得到

f′(x)=3x2−6x,f′′(x)=6x−6,f(3)(x)=6.\begin{aligned} f'(x)&=3x^2-6x,\\ f''(x)&=6x-6,\\ f^{(3)}(x)&=6. \end{aligned}

当 x<1x<1 时,f′′(x)<0f''(x)<0,图像向下弯;当 x>1x>1 时,f′′(x)>0f''(x)>0,图像向上弯。由于二阶导数在 x=1x=1 两侧变号,所以 x=1x=1 是拐点位置。

运动与 AI 优化中的含义

若位置函数为 s(t)s(t),则速度和加速度分别为:

v(t)=s′(t),a(t)=s′′(t)v(t)=s'(t),\qquad a(t)=s''(t)

因此二阶导数描述速度变化得多快。

在一元优化中,L′(w)L'(w) 表示斜率,梯度下降沿 −L′(w)-L'(w) 更新参数。二阶导数表示斜率对位置变化的敏感程度。例如对 L(w)=aw2+bw+cL(w)=aw^2+bw+c 且 a>0a>0,二阶导数恒为 2a2a,最小点为 w∗=−b/(2a)w_*=-b/(2a)。

取固定学习率 η\eta,更新 wk+1=wk−ηL′(wk)w_{k+1}=w_k-\eta L'(w_k)。由于 L′(w)=2a(w−w∗)L'(w)=2a(w-w_*),每一步到最小点的有符号误差满足

wk+1−w∗=(1−2aη)(wk−w∗).w_{k+1}-w_*=(1-2a\eta)(w_k-w_*).

误差的绝对值逐步缩小,要求 ∣1−2aη∣<1|1-2a\eta|<1,即 0<η<1/a0<\eta<1/a。当 1/(2a)<η<1/a1/(2a)<\eta<1/a 时,参数会在最小点两边交替,距离仍会缩小。多变量问题中,会用 Hessian 矩阵描述不同方向的二阶变化。

易混淆点

二阶导数为正不等于函数值为正,也不等于函数一定递增。判断某个区间的递增性和凹凸性,应分别检查一阶导数和二阶导数在区间上的符号。

二阶导数等于零也不一定存在拐点。例如 f(x)=x4f(x)=x^4 在 x=0x=0 处有 f′′(0)=0f''(0)=0,但二阶导数两侧都不小于零,凹凸性没有改变,因此该点不是拐点。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

高阶导数

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通