高等数学 / 系统课时

向量场与生成模型

向量场与生成模型

连续时间扩散模型可以用随时间变化的向量场描述样本分布的演化。本课用向量场统一理解分数函数、概率流与连续生成:先明确每个位置上的方向从哪里来,再说明噪声如何沿连续轨迹逐步变成数据样本。

学习目标

  • 理解向量场在连续生成过程中的作用
  • 说明分数函数为何指向概率密度增大的方向
  • 区分分数、速度场与概率流 ODE

从点到方向:生成过程的几何语言

向量场为状态空间中的每个位置分配一个向量。若样本状态为 x∈Rdx\in\mathbb{R}^d,时间为 tt,可写成 v(x,t)v(x,t)。它既给出移动方向,也通过向量长度表达移动速度,因此能描述样本随时间连续变化的轨迹。

在生成模型中,初始点通常来自容易采样的噪声分布。模型学习的并不是一张固定图片,而是一个随位置和时间变化的方向规则。求解对应微分方程后,噪声点便沿轨迹移动到数据分布附近。

分数场与概率流的关系示意

分数函数:指向高概率区域

设时刻 tt 的密度 ptp_t 可微,且在所考察位置为正。分数定义为

st(x)=∇xlog⁡pt(x)s_t(x)=\nabla_x\log p_t(x)

它是对数概率密度关于样本位置的梯度。当分数非零时,它指向对数密度局部增长最快的欧氏单位方向。由于 ∇log⁡pt=∇pt/pt\nabla\log p_t=\nabla p_t/p_t,该方向也与密度梯度一致,但分数只提供局部信息。

分数不是概率值,也不是样本本身的运动速度。它只描述局部密度地形的上升方向;真正的速度场通常还会组合漂移项、噪声强度和时间系数。

概率流:把随机演化改写为确定性轨迹

扩散过程常用随机微分方程表示:

dx=f(x,t)dt+g(t)dWtdx=f(x,t)dt+g(t)dW_t

其中 ff 是漂移项,gg 控制噪声强度,dWtdW_t 表示随机扰动。在适当条件下,可构造具有相同边缘概率分布的概率流 ODE:

dxdt=f(x,t)−12g(t)2st(x)\frac{dx}{dt}=f(x,t)-\frac{1}{2}g(t)^2s_t(x)

概率流 ODE 与对应 SDE 在同一初始分布、真实分数及相应正则性条件下具有相同的时刻边缘分布。给定起始点且速度场满足解的唯一性条件,ODE 轨迹是确定的。两者的单条轨迹及跨时刻联合分布一般不同。

连续生成时实际发生了什么

生成时从终端分布 pTp_T 或设计好的简单近似分布采样,再将时间从 TT 积分到 00。采样目标是整体分布匹配,单条轨迹不必一直朝高密度处移动。使用近似分数、近似终端分布和有限步积分都会带来误差。

例如一维布朗运动从 N(0,1)N(0,1) 出发,正向有 pt=N(0,1+t)p_t=N(0,1+t)。其分数为 −x/(1+t)-x/(1+t),概率流速度为 x/[2(1+t)]x/[2(1+t)]。在正向时间里,非零点远离原点。反向积分则将终点 xTx_T 映射为 xT/1+Tx_T/\sqrt{1+T}。

python
import math

end_time = 4.0
end_point = 2 * math.sqrt(1 + end_time)
time, point = end_time, end_point
steps = 1000
dt = -end_time / steps

for _ in range(steps):
    point += dt * point / (2 * (1 + time))
    time += dt

exact = end_point / math.sqrt(1 + end_time)
assert math.isclose(exact, 2.0)
assert abs(point - exact) < 0.003
print(f"Euler={point:.6f}, exact={exact:.6f}")

需要特别区分三种量:分数场描述“哪里概率更高”,速度场描述“样本此刻怎样移动”,概率流 ODE 则用速度场规定每个样本的连续轨迹,并由所有样本共同实现分布的演化。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

向量场与生成模型

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通