AI 与工程数学 / 系统课时

推导 Adam 优化器的偏差修正

推导 Adam 优化器的偏差修正

Adam 同时维护梯度的一阶矩与二阶矩指数移动平均,但训练刚开始时两者都从 0 初始化,会系统性地偏向 0。本篇从期望值推导修正因子,并用具体梯度完成一次参数更新,验证修正前后数值差异。

学习目标

  • 推导 1−β1t1-\beta_1^t 与 1−β2t1-\beta_2^t 两个偏差修正因子的来源。
  • 按 Adam 的标准公式计算 mtm_t、vtv_t、m^t\hat m_t、v^t\hat v_t 和参数更新量。
  • 用可运行 Python 代码核对前两步迭代结果。

为什么刚开始的矩估计会偏小

设第 tt 步梯度为 gtg_t,Adam 的一阶矩和二阶矩递推为:

mt=β1mt−1+(1−β1)gtm_t=\beta_1m_{t-1}+(1-\beta_1)g_t
vt=β2vt−1+(1−β2)gt2v_t=\beta_2v_{t-1}+(1-\beta_2)g_t^2

标准初始化取 m0=0m_0=0、v0=0v_0=0。假设前几步梯度来自均值近似不变的分布,记 E[gt]=μE[g_t]=\mu。展开一阶矩可得:

mt=(1−β1)∑i=1tβ1t−igim_t=(1-\beta_1)\sum_{i=1}^{t}\beta_1^{t-i}g_i

对两边取期望:

E[mt]=(1−β1)μ∑k=0t−1β1k=(1−β1t)μE[m_t]=(1-\beta_1)\mu\sum_{k=0}^{t-1}\beta_1^k=(1-\beta_1^t)\mu

因此 mtm_t 并不是直接估计 μ\mu,而是少乘了一个接近 0 到 1 之间的系数 1−β1t1-\beta_1^t。当 β1=0.9\beta_1=0.9 且 t=1t=1 时,这个系数只有 0.10.1,第一步的一阶矩只有真实均值尺度的约十分之一。

二阶矩完全同理。若记 E[gt2]=νE[g_t^2]=\nu,则:

E[vt]=(1−β2t)νE[v_t]=(1-\beta_2^t)\nu

当 Adam 常用 β2=0.999\beta_2=0.999 时,第 1 步只有 1−0.999=0.0011-0.999=0.001 的尺度,未经修正的 v1v_1 会尤其小。

Adam 零初始化导致矩估计偏小及偏差修正关系

用偏差修正恢复正确尺度

要消除零初始化造成的早期缩小,只需除掉刚才推导出的系数:

m^t=mt1−β1t\hat m_t=\frac{m_t}{1-\beta_1^t}
v^t=vt1−β2t\hat v_t=\frac{v_t}{1-\beta_2^t}

然后使用修正后的矩完成 Adam 更新:

θt=θt−1−αm^tv^t+ϵ\theta_t=\theta_{t-1}-\alpha\frac{\hat m_t}{\sqrt{\hat v_t}+\epsilon}

取一组常见超参数:β1=0.9\beta_1=0.9、β2=0.999\beta_2=0.999、α=0.001\alpha=0.001、ϵ=10−8\epsilon=10^{-8}。若第 1 步梯度 g1=0.2g_1=0.2,则:

m1=0.9×0+0.1×0.2=0.02m_1=0.9\times0+0.1\times0.2=0.02
v1=0.999×0+0.001×0.22=0.00004v_1=0.999\times0+0.001\times0.2^2=0.00004

未经修正时,m1=0.02m_1=0.02 和 v1=0.00004v_1=0.00004 都明显受到零初始化影响。修正后:

m^1=0.021−0.9=0.2\hat m_1=\frac{0.02}{1-0.9}=0.2
v^1=0.000041−0.999=0.04\hat v_1=\frac{0.00004}{1-0.999}=0.04

它们恰好恢复为当前梯度 0.20.2 及其平方 0.040.04 的尺度。

完成一次 Adam 参数更新

设初始参数 θ0=1.5\theta_0=1.5。代入修正后的矩:

Δθ1=0.0010.20.04+10−8≈0.00099999995\Delta\theta_1=0.001\frac{0.2}{\sqrt{0.04}+10^{-8}}\approx0.00099999995

因此:

θ1=1.5−0.00099999995≈1.49900000005\theta_1=1.5-0.00099999995\approx1.49900000005

下面的 Python 程序继续加入第二个梯度 g2=−0.1g_2=-0.1,便于同时检查时间步 tt 是否正确进入修正因子。

python
import math

beta1 = 0.9
beta2 = 0.999
learning_rate = 0.001
epsilon = 1e-8

theta = 1.5
m = 0.0
v = 0.0
gradients = [0.2, -0.1]

for t, g in enumerate(gradients, start=1):
    # 先更新指数移动平均,再使用当前时间步 t 做偏差修正。
    m = beta1 * m + (1.0 - beta1) * g
    v = beta2 * v + (1.0 - beta2) * g * g

    m_hat = m / (1.0 - beta1 ** t)
    v_hat = v / (1.0 - beta2 ** t)

    step = learning_rate * m_hat / (math.sqrt(v_hat) + epsilon)
    theta -= step

    print(
        f"t={t} m={m:.8f} v={v:.8f} "
        f"m_hat={m_hat:.8f} v_hat={v_hat:.8f} "
        f"step={step:.11f} theta={theta:.11f}"
    )

预期输出:

text
t=1 m=0.02000000 v=0.00004000 m_hat=0.20000000 v_hat=0.04000000 step=0.00099999995 theta=1.49900000005
t=2 m=0.00800000 v=0.00004996 m_hat=0.04210526 v_hat=0.02499250 step=0.00026633702 theta=1.49873366303

第二步的一阶矩变为 m2=0.008m_2=0.008,但偏差修正后的 m^2≈0.0421\hat m_2\approx0.0421;二阶矩同样从 v2=0.00004996v_2=0.00004996 修正到 v^2≈0.02499\hat v_2\approx0.02499。这说明修正不是只在第一步使用,而是每一步都按照当前 tt 重新计算。

容易写错的三个细节

第一个错误是把时间步固定成 1。正确实现中,第一次参数更新使用 t=1t=1,第二次使用 t=2t=2,否则 1−βt1-\beta^t 始终不变,后续矩估计会被过度放大。

第二个错误是先修正旧的 mm、vv,再加入当前梯度。标准 Adam 的顺序应当是先由 gtg_t 得到 mtm_t 和 vtv_t,再计算 m^t\hat m_t 与 v^t\hat v_t,最后更新参数。

第三个错误是把 ϵ\epsilon 放进平方根。经典 Adam 写法使用 v^t+ϵ\sqrt{\hat v_t}+\epsilon;若实现成 v^t+ϵ\sqrt{\hat v_t+\epsilon},数值行为并不完全相同。阅读具体框架源码或论文实现时,应核对这一位置而不是只比较超参数名称。

在 tt 很大时,β1t\beta_1^t 与 β2t\beta_2^t 都趋近于 0,修正因子逐渐趋近 1,所以偏差修正主要影响训练早期。它解决的是指数移动平均从零开始造成的初始化偏差,并不意味着 m^t\hat m_t 和 v^t\hat v_t 是没有统计误差的真实总体矩。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

推导 Adam 优化器的偏差修正

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通