机器学习与深度学习 / 系统课时
图像生成模型
图像生成模型
上一节用语言模型生成词元。本课以文本条件扩散为例,观察图像如何在采样中逐步形成。图像生成还可以无条件采样或以图像、掩码等为条件。第 07-05 节的分割掩码就可以作为局部编辑的输入。
学习目标
- 区分扩散训练中构造带噪样本和生成时从噪声反向采样。
- 解释潜空间、文本条件、调度器和引导强度的职责。
- 用可运行计算理解噪声强度、引导方向与种子复现的范围。
训练怎样加入噪声
以 DDPM 的常见形式为例,前向过程逐步增加高斯噪声。设干净样本为 ,训练也可直接选一个时间步 ,按 计算带噪样本, 是标准高斯噪声, 是截至该步的信号保留系数。此方法允许在随机选中的时间步训练,无需每次依次计算所有较早步。常见训练目标是预测加入的噪声,也有预测干净样本或另一种参数化量的模型。 DDPM 原论文 Diffusers 调度器说明

生成怎样从噪声出发
从随机噪声开始,网络对当前带噪状态作预测,再由调度器按时间步更新状态。训练使用的噪声时间表与推理实际采用的时间步数可以不同。不要将早期必定决定构图、晚期必定只补纹理当作算法规则。潜空间扩散先训练或使用图像编解码器,在压缩表示上执行主要去噪过程,再解码为像素。 DDPM 原论文 潜空间扩散原论文 Diffusers 调度器说明
文本编码可通过交叉注意力等方式提供给去噪网络。模型仍可能将“红杯子旁边的蓝书”画反颜色,或者漏掉数量约束。常见的无分类器引导(CFG)把无条件预测 和条件预测 按 组合。按这个公式, 时得到条件预测,较大的 会外推条件差异。不同工具对参数和启用条件的约定需按模型确认。提高引导强度可能牺牲多样性或造成不自然结果,需按任务评估。 无分类器扩散引导原论文 潜空间扩散原论文
可运行例子:一个标量的加噪和引导
下面用 NumPy 给固定标量构造带噪样本。用同一个种子新建两次随机生成器,比较同一环境下这组噪声能否复现。回代恢复用了预先知道的真实噪声,只用于检验代数;实际扩散模型必须估计噪声或其他目标,再执行采样更新。
import numpy as np
def forward_noise(x0, alpha_bar, noise):
return np.sqrt(alpha_bar) * x0 + np.sqrt(1 - alpha_bar) * noise
def guidance(unconditional, conditional, scale):
return unconditional + scale * (conditional - unconditional)
x0 = 1.5
alpha_bar = 0.64
noise = np.random.default_rng(7).standard_normal(50_000)
same_seed_noise = np.random.default_rng(7).standard_normal(50_000)
xt = forward_noise(x0, alpha_bar, noise)
restored = (xt - np.sqrt(1 - alpha_bar) * noise) / np.sqrt(alpha_bar)
print(f"theoretical mean/std: {np.sqrt(alpha_bar) * x0:.2f} / {np.sqrt(1-alpha_bar):.2f}")
print("sample close:", bool(abs(xt.mean() - 1.2) < .02 and abs(xt.std() - .6) < .02))
print("same seed:", np.array_equal(noise, same_seed_noise))
print("known noise recovery:", np.allclose(restored, x0))
print(f"guidance: {guidance(.4, .7, 1):.2f} / {guidance(.4, .7, 3):.2f}")theoretical mean/std: 1.20 / 0.60
sample close: True
same seed: True
known noise recovery: True
guidance: 0.70 / 1.30怎样比较生成候选
采样步数影响耗时与结果,合理范围取决于模型和调度器。分辨率也应符合当前模型和工具的约定。要比较两个参数设置,可以固定模型权重版本、调度器、提示词、尺寸及一组种子,每次改变一个主要因素。同种子在不同设备、库版本、精度或确定性设置下仍可能出现差异。 Diffusers 调度器说明 Diffusers 随机种子复现
先记录需要出现的对象、位置、数量和颜色,再核对候选是否满足这些条件。教育图示、产品信息与画面文字要按资料人工复核。比较局部编辑时,还要检查掩码对齐、接缝和区域外变化。记录被拒候选及失败原因,避免只看最满意的一张。
本课练习
用相同噪声分别取 和 0.25,计算样本均值与标准差的变化。再改变引导强度并说明它对示例分数的作用。下一课将看生成答案怎样引用外部资料。