高等数学 / 系统课时

阅读AI论文中的公式

阅读AI论文中的公式

本课给出一套可重复使用的公式阅读方法:先判断公式承担的任务,再识别随机变量、参数和约束,最后把符号还原为可执行的计算步骤,从而读懂论文而不是只看懂单个符号。

学习目标

  • 区分目标函数、期望、梯度与约束在论文中的作用
  • 按“对象—运算—优化”顺序拆解复杂公式
  • 使用固定清单核对公式与正文、算法和实验设置

先判断公式在论文中的角色

看到公式后不要立即逐字符翻译,先阅读公式前后两段,确认作者是在定义模型、描述数据分布、提出优化目标,还是给出参数更新规则。同一个符号在不同公式中的职责可能不同,角色判断错误会让后续推导全部偏离。

AI论文公式阅读流程

常见角色可以快速归为四类:定义式回答“对象是什么”,目标函数回答“要最小化或最大化什么”,梯度或更新式回答“参数怎样改变”,约束式回答“哪些解不允许出现”。先归类,再分析细节。

从符号表重建计算对象

以常见的监督学习目标为例:

L(θ)=E(x,y)∼pdata[ℓ(fθ(x),y)]+λ∥θ∥22\mathcal{L}(\theta) = \mathbb{E}_{(x,y)\sim p_{\mathrm{data}}} \left[\ell\left(f_{\theta}(x),y\right)\right] + \lambda\lVert\theta\rVert_2^2

先找可被优化的参数 θ\theta,再找数据来源 (x,y)∼pdata(x,y)\sim p_{\mathrm{data}},随后识别模型 fθf_{\theta}、单样本损失 ℓ\ell 和正则项。该式为每个 θ\theta 定义目标值,优化任务可另写为 θ∗∈arg⁡min⁡θL(θ)\theta^*\in\arg\min_\theta\mathcal L(\theta)。最优值和能取得该值的参数是不同对象。

阅读期望时,要继续追问三个问题:随机性来自哪里、对谁取平均、实际训练怎样近似。总体分布未知时,先用训练集的均值定义经验损失。若批次从训练样本均匀抽取,给定当前参数时,批次均值是全训练集均值的无偏估计。若使用非均匀采样、类别加权或忽略掩码,还要核对相应权重及分母。常见近似写成

E[ℓ]≈1m∑i=1mℓ(fθ(xi),yi)\mathbb{E}[\ell] \approx \frac{1}{m}\sum_{i=1}^{m} \ell\left(f_{\theta}(x_i),y_i\right)

按计算顺序拆解优化过程

复杂公式可以按由内到外的顺序改写成口头计算流程:输入 xix_i 进入模型得到预测,预测与标签 yiy_i 计算损失,批次内损失求平均,最后加入正则项形成目标函数。若论文随后给出更新式:

θt+1=θt−η∇θL(θt)\theta_{t+1} = \theta_t - \eta\nabla_{\theta}\mathcal{L}(\theta_t)

其中 ∇θL\nabla_{\theta}\mathcal{L} 表示目标函数对参数的梯度,η\eta 是学习率,当目标可微且梯度非零时,负梯度给出局部下降方向,有限步长是否降低目标仍需检验。此时应把目标函数与更新式连起来读:前者定义“好坏”,后者定义“怎样变好”。

把这个目标落实到两条样本。取 fθ(x)=θxf_\theta(x)=\theta x,损失为平方误差,数据为 (1,0)(1,0)、(2,1)(2,1)。在 θ=0.5\theta=0.5 时,预测为 [0.5,1][0.5,1],均方误差为 0.1250.125。取 λ=0.2\lambda=0.2,正则项为 0.050.05,总目标为 0.1750.175。正则化梯度是 2λθ2\lambda\theta,因为目标中的正则项没有 1/21/2。

python
samples = [(1.0, 0.0), (2.0, 1.0)]
theta, regularization, learning_rate = 0.5, 0.2, 0.1
residuals = [theta * x - y for x, y in samples]
mse = sum(error**2 for error in residuals) / len(samples)
gradient = (
    2 * sum(error * x for error, (x, _) in zip(residuals, samples)) / len(samples)
    + 2 * regularization * theta
)
objective = mse + regularization * theta**2
print(f"objective={objective:.3f}, gradient={gradient:.3f}")
print(f"next_theta={theta - learning_rate * gradient:.3f}")

预期输出如下。

text
objective=0.175, gradient=0.700
next_theta=0.430

识别约束与隐含条件

约束通常写在目标函数右侧,例如:

min⁡θ  L(θ)s.t.g(θ)≤0\min_{\theta}\;\mathcal{L}(\theta) \quad \text{s.t.} \quad g(\theta)\le 0

这里的 s.t. 表示 subject to,即候选参数必须同时满足 g(θ)≤0g(\theta)\le 0。还要留意正文中的隐含条件,例如概率之和为 11、协方差矩阵需半正定、输入已归一化,或某个推导仅在可微条件下成立。

论文有时会把约束转成惩罚项。此时不要只看两个公式长得不同,应分别检查原问题的可行条件、惩罚问题的最优点是否仍可行,以及等价结论所依赖的凸性、乘子或惩罚形式。

使用公式阅读检查清单

完成初步拆解后,按以下顺序回查:

  1. 每个符号是否在首次出现处定义,形状或维度是否一致。
  2. 求和、期望和梯度分别对哪些变量进行,哪些量保持不变。
  3. 公式与算法伪代码中的执行顺序是否一致。
  4. 训练目标、评估指标和论文最终报告的数值是否属于同一对象。
  5. 约束、近似、独立性假设和采样方式是否在正文中另有说明。

遇到无法解释的符号时,优先查看符号表、附录和算法框,而不是凭习惯猜测。若公式维度不匹配,通常意味着漏读了转置、广播、条件变量或批次维度。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

阅读AI论文中的公式

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通