高等数学 / 系统课时

函数近似与模型压缩

函数近似与模型压缩

复杂函数往往带来较高的计算延迟和存储开销。本课将用多项式近似与分段线性近似说明:如何在可控误差内,把昂贵函数替换成更简单的运算,并建立一套可验证的模型压缩流程。

学习目标

  • 理解函数近似降低计算成本的基本原理
  • 区分多项式近似与分段近似的适用场景
  • 能用误差指标判断近似方案是否可部署

为什么近似能够降低成本

设原函数为 y=f(x)y=f(x),近似函数为 y=p(x)y=p(x)。用实际输入范围约束近似误差后,还需要验证端到端任务指标和目标硬件上的成本,才能决定是否替换。

这种替换常见于激活函数、概率函数、归一化计算和嵌入式推理。例如,指数、对数或三角函数可能依赖专门指令或数学库,而低阶多项式通常只需要加法和乘法;分段线性函数则可以进一步简化为区间判断、乘法与加法。

精确函数到分段近似的压缩过程

两种常用近似方式

多项式近似

多项式使用 pn(x)=a0+a1x+...+anxnp_n(x)=a_0+a_1x+...+a_nx^n 逼近目标函数。低阶多项式执行路径固定,适合向量化和硬件加速,但阶数过高会增加乘法次数,也可能在区间边缘出现较大振荡。

分段近似

分段近似先把输入区间切成若干段,再为每一段配置简单函数。分段线性近似只需保存节点及函数值,通常比全局高阶多项式更稳定,但节点越多,参数存储和区间定位成本越高。

方案 主要优势 主要限制
低阶多项式 无分支、便于批量计算 大区间内误差可能快速增大
分段线性 局部误差容易控制 需要节点存储与区间选择

主示例:近似 Sigmoid

下面的程序在区间 [−4,4][-4,4] 选取五个节点,并在相邻节点之间做线性插值。示例可直接使用 Python 3 运行,输入约定为有限实数。

python
import math

KNOTS = [-4.0, -2.0, 0.0, 2.0, 4.0]

def sigmoid(x: float) -> float:
    weight = math.exp(-abs(x))
    return 1.0 / (1.0 + weight) if x >= 0 else weight / (1.0 + weight)

VALUES = [sigmoid(x) for x in KNOTS]

def piecewise_linear(x: float) -> float:
    # 区间外采用端点值,避免无约束外推
    if x <= KNOTS[0]:
        return VALUES[0]
    if x >= KNOTS[-1]:
        return VALUES[-1]

    for i in range(len(KNOTS) - 1):
        if KNOTS[i] <= x <= KNOTS[i + 1]:
            ratio = (x - KNOTS[i]) / (KNOTS[i + 1] - KNOTS[i])
            return VALUES[i] + ratio * (VALUES[i + 1] - VALUES[i])

    raise RuntimeError("unreachable")

for value in [-3.0, -1.0, 1.0, 3.0]:
    exact = sigmoid(value)
    approx = piecewise_linear(value)
    error = abs(exact - approx)
    print(
        f"{value:>4.1f}: exact={exact:.4f}, "
        f"approx={approx:.4f}, error={error:.4f}"
    )

预期输出:

text
-3.0: exact=0.0474, approx=0.0686, error=0.0212
-1.0: exact=0.2689, approx=0.3096, error=0.0407
 1.0: exact=0.7311, approx=0.6904, error=0.0407
 3.0: exact=0.9526, approx=0.9314, error=0.0212

插值只在预计算节点时调用指数。区间外使用端点值,由 Sigmoid 的单调性和对称性可知,区间外的绝对误差不超过约 0.0180.018。四个采样点的误差只是观测值,不能作为区间内最大误差的保证。代码为便于阅读使用顺序查找,时间复杂度为 O(K)O(K);若节点等距,工程实现可直接计算区间下标,把定位成本降为 O(1)O(1)。

如何决定是否可以部署

先限定真实输入范围,覆盖节点、边界与高曲率位置,记录平均误差、采样中观察到的最大误差和任务指标变化。若业务要求严格的最大误差保证,应另用解析界或经过验证的误差估计。平均误差小并不代表安全,因为少量边界样本仍可能产生较大偏差。

部署前还要比较实际延迟、内存占用和硬件兼容性。若近似函数更快,但导致分类准确率、排序质量或数值稳定性明显下降,就不属于有效压缩。函数近似通常与量化、剪枝或知识蒸馏配合使用,而不是替代这些方法。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

函数近似与模型压缩

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通