高等数学 / 系统课时

比较多种优化器

比较多种优化器

本课在同一个狭长二次目标函数上实现梯度下降、动量法和 Adam。三种方法在同一目标上使用相同起点和停止条件,并记录各自的学习率、梯度调用次数及轨迹。

学习目标

  • 理解三种优化器的参数更新差异
  • 在统一实验条件下记录损失与参数轨迹
  • 根据轨迹判断震荡、加速和自适应步长效果

实验设计

目标函数设为:

f(x,y)=12(x2+100y2)f(x,y)=\frac{1}{2}(x^2+100y^2)

它在 yy 方向比 xx 方向陡峭得多,等高线呈狭长椭圆。所有优化器从 (8,8)(8,8) 出发,并在 f(x,y)<10−6f(x,y)<10^{-6} 时停止。这样可以同时观察陡峭方向的震荡和缓平方向的收敛速度。

三种更新规则的核心区别是:梯度下降只使用当前梯度;动量法累积历史方向形成“惯性”;Adam 同时维护梯度的一阶矩与二阶矩,并对不同参数自适应缩放步长。本例分别使用 GD 学习率 0.010.01、动量法 0.0050.005 和 Adam 0.30.3。这些是可复现实验配置,所得排名会随超参数改变。

完整实验代码

程序会输出每种方法的迭代次数、最终损失和参数,并把等高线与优化轨迹保存为 optimizer_paths.png。

python
import numpy as np
import matplotlib.pyplot as plt

def objective(theta: np.ndarray) -> float:
    x, y = theta
    return 0.5 * (x ** 2 + 100 * y ** 2)

def gradient(theta: np.ndarray) -> np.ndarray:
    return np.array([theta[0], 100 * theta[1]], dtype=float)

def optimize(name: str, start: np.ndarray) -> tuple[np.ndarray, int, float]:
    theta = np.array(start, dtype=float, copy=True)
    path = [theta.copy()]
    velocity = np.zeros_like(theta)
    first_moment = np.zeros_like(theta)
    second_moment = np.zeros_like(theta)

    for step in range(1, 2001):
        grad = gradient(theta)

        # 三种方法只替换参数更新规则,目标函数和起点保持一致
        if name == "GD":
            theta -= 0.01 * grad
        elif name == "Momentum":
            velocity = 0.9 * velocity + grad
            theta -= 0.005 * velocity
        elif name == "Adam":
            first_moment = 0.9 * first_moment + 0.1 * grad
            second_moment = 0.999 * second_moment + 0.001 * (grad ** 2)
            m_hat = first_moment / (1 - 0.9 ** step)
            v_hat = second_moment / (1 - 0.999 ** step)
            theta -= 0.3 * m_hat / (np.sqrt(v_hat) + 1e-8)
        else:
            raise ValueError(f"unknown optimizer: {name}")

        path.append(theta.copy())
        if objective(theta) < 1e-6:
            break

    return np.array(path), step, objective(theta)

def main() -> None:
    start = np.array([8.0, 8.0])
    results = {}

    for name in ("GD", "Momentum", "Adam"):
        path, steps, loss = optimize(name, start)
        results[name] = path
        print(
            f"{name:<8} grad_evals={steps:3d} reached={loss < 1e-6} "
            f"loss={loss:.6e} "
            f"theta=[{path[-1, 0]:.6f}, {path[-1, 1]:.6f}]"
        )

    # 等高线与轨迹共用同一坐标系,便于比较震荡和收敛速度
    axis = np.linspace(-9, 9, 300)
    grid_x, grid_y = np.meshgrid(axis, axis)
    grid_z = 0.5 * (grid_x ** 2 + 100 * grid_y ** 2)
    plt.contour(grid_x, grid_y, grid_z, levels=np.logspace(-2, 4, 18))

    for name, path in results.items():
        interval = max(1, len(path) // 15)
        plt.plot(path[:, 0], path[:, 1], marker="o", markevery=interval, label=name)

    plt.xlabel("x")
    plt.ylabel("y")
    plt.title("Optimizer trajectories")
    plt.legend()
    plt.tight_layout()
    plt.savefig("optimizer_paths.png", dpi=160)
    plt.close()
    print("saved=optimizer_paths.png")

if __name__ == "__main__":
    main()

预期输出:

text
GD       grad_evals=860 reached=True loss=9.946830e-07 theta=[0.001410, 0.000000]
Momentum grad_evals=167 reached=True loss=4.221376e-07 theta=[0.000504, -0.000077]
Adam     grad_evals=104 reached=True loss=1.547608e-08 theta=[0.000018, 0.000018]
saved=optimizer_paths.png

图像文件会生成在运行脚本的当前目录。在无图形界面的环境中,可设置环境变量 MPLBACKEND=Agg 后运行。reached 为假表示达到迭代上限时仍未满足损失阈值。

梯度下降、动量法与Adam优化轨迹对比

结果与轨迹解读

优化器 迭代次数 轨迹特征 本实验结论
梯度下降 860 陡峭方向快速压缩,缓平方向推进很慢 对病态曲率较敏感
动量法 167 早期存在摆动,但沿稳定方向积累速度 明显减少迭代次数
Adam 104 两个梯度分量分别归一化,轨迹近似沿对角线 本组参数下最先达到阈值

动量法并不是简单地放大学习率。历史梯度方向一致时,速度会持续累积;方向反复变化时,正负贡献会部分抵消。因此它常能减少狭长谷底中的横向震荡,同时加快主要方向的移动。

Adam 会分别修正一阶与二阶矩因零初始化产生的偏差。两个矩同时改变,更新比值的偏差方向不能只从一个矩推断。例如首步忽略 ϵ\epsilon,未修正的 m1/v1m_1/\sqrt{v_1} 约为修正值的 (1−0.9)/1−0.999≈3.16(1-0.9)/\sqrt{1-0.999}\approx3.16 倍。本例首步两个梯度分别为 88 和 800800,归一化后的位移绝对值都接近 0.30.3。分母中的 ϵ\epsilon 防止除零,在二阶矩很小时也可能影响更新。

比较边界与调参原则

这次结果只说明“在当前函数、起点和超参数下”Adam 最快,不能推出 Adam 在所有任务上都优于其他方法。若要比较优化器本身,可固定数据、初始化、损失和评估预算,并为每种方法安排可比的调参预算。本例每步调用一次梯度,调用次数仍未包含 Adam 更新矩估计等额外成本。

若只比较最终损失,还可能忽略单步计算成本和泛化表现。工程实践中应同时记录训练时间、验证集指标、内存占用和多次随机运行的波动,再决定优化器,而不是仅凭一张轨迹图下结论。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

比较多种优化器

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通