高等数学 / 系统课时
符号求导与数值求导
符号求导与数值求导
面对同一个导数问题,符号求导给出可复用的解析表达式,数值求导则直接估计某一点的斜率。本课通过公式、误差来源和可运行示例,说明两种方法各自适合解决什么问题。
学习目标
- 理解符号求导与有限差分数值求导的基本思路
- 能用中心差分估计函数在指定点的导数
- 能根据精度、成本和函数形式选择合适方法
两种方法解决什么问题
导数描述函数在某一点附近的瞬时变化率。对函数 ,符号求导关注“导函数是什么”,结果通常写成新的表达式 ;数值求导关注“某一点的导数大约是多少”,结果通常是一个浮点数。
例如 。符号求导可直接得到 ,所以任意位置都能代入计算。数值求导则需要先指定位置,例如在 附近取两个点,再用函数值估计斜率。
符号求导的特点
符号求导按照求导规则变换表达式。例如和差法则、乘积法则与链式法则,都能把原函数转换成解析导函数。只要表达式规模可控,解析结果通常精确,而且可以重复用于不同输入。
它的局限也很明确:函数必须能够以符号表达;复杂表达式可能产生“表达式膨胀”;包含条件分支、循环、查表或黑盒程序时,手工符号推导往往不现实。
数值求导的核心公式
前向差分用一个很小的步长 近似导数:
更常用的中心差分同时观察左右两侧:
在目标点附近有连续三阶导数时,中心差分的截断误差是 。同样光滑条件下,前向差分的截断误差是 。中心差分需分别计算左右函数值,区间边界处则要先检查两点是否合法。步长也不是越小越好: 太大时截断误差明显,太小时相减会放大舍入影响,甚至出现浮点数表示下 的情况。
用 Python 验证中心差分
下面估计 在 处的导数,并与解析结果 比较。
import math
def central_difference(function, x, step):
# 同时取左右邻点,减小单侧近似带来的截断误差
return (function(x + step) - function(x - step)) / (2 * step)
x = math.pi / 3
step = 1e-5
numerical = central_difference(math.sin, x, step)
symbolic = math.cos(x)
print(f"数值结果: {numerical:.8f}")
print(f"解析结果: {symbolic:.8f}")
error = abs(numerical - symbolic)
assert error < 1e-8
print(f"绝对误差小于 1e-8: {error < 1e-8}")预期输出:
数值结果: 0.50000000
解析结果: 0.50000000
绝对误差小于 1e-8: True不同 Python 版本或硬件上的末位误差可能略有变化,但两个结果应在设定精度下保持一致。
如何选择
需要公式化简、理论证明或反复计算不同输入时,优先使用符号求导。只有函数调用结果、无法访问内部表达式,或需要快速检查梯度实现时,可以使用数值求导。
在机器学习中,有限差分适合做小规模梯度检查,却不适合直接训练大模型。若参数有一百万个,逐坐标做中心差分需要两百万次左右的额外函数计算,成本远高于自动微分。
提示:数值求导是近似计算,不能因为输出小数位很多就把它当成精确结果。应同时检查步长,并与解析结果或自动微分结果交叉验证。