去噪扩散概率模型 DDPM

相关：变分下界ELBO笔记（ELBO 的一般推导） | 变分自编码器VAE笔记（单步潜变量模型与重参数化）

参考：DDPM 专栏

1. DDPM 在做什么

DDPM（Denoising Diffusion Probabilistic Model，去噪扩散概率模型）把生成过程拆成 $T$ 个很小的步骤：

1. 正向过程：从真实样本 $x_0$ 出发，逐步加入高斯噪声，最后得到近似标准正态的 $x_T$；
2. 反向过程：从纯噪声 $x_T$ 出发，逐步去除噪声，最终得到生成样本 $x_0$。

它的核心不是直接学习复杂的 $p(x_0)$，而是学习一串简单的高斯转移分布。和 变分自编码器VAE笔记 类似，DDPM 也是一个带潜变量的生成模型；区别是它使用 $x_1,\dots ,x_T$ 这一长串潜变量，而不是一个低维 $z$。

2. 正向加噪过程

2.1 一步转移

给定真实数据 $x_0$，定义固定的马尔可夫链 $q$：

$$q(x_t\mid x_{t-1})=\mathcal{N}\left(x_t;\sqrt{{\alpha }_t}{x}_{t-1},{\beta }_{t}I\right),$$

其中

$${\beta }_t\in (0,1),{\alpha }_t=1-{\beta }_t.$$

${\beta }_t$ 是第 $t$ 步加入的噪声强度，通常由一个预先设定的 schedule 给出；$q$ 没有可学习参数。

用重参数化写成采样形式：

$$x_t=\sqrt{{\alpha }_t}{x}_{t-1}+\sqrt{1-{\alpha }_t}{ϵ}_{t-1},{ϵ}_{t-1}\sim \mathcal{N}(0,I).$$

这和 VAE 中的

$$z={\mu }_{\varphi }(x)+{\sigma }_{\varphi }(x)ϵ$$

形式相同，都是把随机采样改写成“确定性变换加标准高斯噪声”，但 DDPM 的正向过程本身不需要反向传播来学习。

2.2 多步转移

由于正向过程是马尔可夫链：

$$q(x_{1:T}\mid x_0)=\prod _{t=1}^{T}q(x_t\mid x_{t-1}).$$

定义累计乘积

$${\bar{\alpha }}_t=\prod _{s=1}^t{\alpha }_s,{\bar{\alpha }}_0=1.$$

反复代入一步转移，并利用独立高斯之和仍为高斯，可得任意时刻的闭式边缘分布。

先展开两步：

$$\begin{array}{rl}{x}_t& =\sqrt{{\alpha }_t}{x}_{t-1}+\sqrt{1-{\alpha }_t}{ϵ}_{t-1}\\ & =\sqrt{{\alpha }_t}\left(\sqrt{{\alpha }_{t-1}}{x}_{t-2}+\sqrt{1-{\alpha }_{t-1}}{ϵ}_{t-2}\right)+\sqrt{1-{\alpha }_t}{ϵ}_{t-1}\\ & =\sqrt{{\alpha }_t{\alpha }_{t-1}}{x}_{t-2}+\sqrt{{\alpha }_t(1-{\alpha }_{t-1})}{ϵ}_{t-2}+\sqrt{1-{\alpha }_t}{ϵ}_{t-1}.\end{array}$$

最后两项是相互独立的零均值高斯噪声，因此它们之和仍是零均值高斯噪声，方差为

$${\alpha }_t(1-{\alpha }_{t-1})+(1-{\alpha }_t)=1-{\alpha }_t{\alpha }_{t-1}.$$

继续递推到 $x_0$，并记

$${\bar{\alpha }}_t={\alpha }_t{\bar{\alpha }}_{t-1},{\bar{\alpha }}_0=1,$$

就得到信号系数为 $\sqrt{{\bar{\alpha }}_t}$，噪声方差为

$$1-{\bar{\alpha }}_t={\alpha }_t(1-{\bar{\alpha }}_{t-1})+(1-{\alpha }_t).$$ $$q(x_t\mid x_0)=\mathcal{N}\left(x_t;\sqrt{{\bar{\alpha }}_t}{x}_0,(1-{\bar{\alpha }}_t)I\right).$$

因此可以不必真的执行 $t$ 次加噪，直接采样：

$$x_t=\sqrt{{\bar{\alpha }}_t}{x}_0+\sqrt{1-{\bar{\alpha }}_t}ϵ,ϵ\sim \mathcal{N}(0,I).$$

这里使用了独立高斯变量相加时均值相加、方差相加的性质：

$$\mathcal{N}(0,{\sigma }_1^{2}I)+\mathcal{N}(0,{\sigma }_2^{2}I)=\mathcal{N}(0,({\sigma }_1^2+{\sigma }_2^2)I).$$

当 $t$ 增大时，${\bar{\alpha }}_t$ 逐渐趋近于 $0$，于是

$$x_T\approx \mathcal{N}(0,I).$$

也就是说，正向过程把数据分布逐渐抹平成简单的标准高斯分布。

3. 反向生成过程

3.1 反向过程的建模

如果知道真实数据分布，反向条件分布为 $q(x_{t-1}\mid x_t)$；但它通常无法直接计算，所以用神经网络参数化：

$$p_{\theta }(x_{0:T})=p(x_T)\prod _{t=1}^T{p}_{\theta }(x_{t-1}\mid x_t),$$

其中

$$p(x_T)=\mathcal{N}(x_T;0,I),$$

并令每一步反向转移为高斯分布：

$$p_{\theta }(x_{t-1}\mid x_t)=\mathcal{N}\left(x_{t-1};{\mu }_{\theta }(x_t,t),{\Sigma }_{\theta }(x_t,t)\right).$$

神经网络接收带噪样本 $x_t$ 和时间步 $t$，输出反向高斯分布的参数。训练完成后，从 $x_T\sim \mathcal{N}(0,I)$ 开始，按照 $T,T-1,\dots ,1$ 的顺序逐步采样。

3.2 为什么需要 $x_0$

单独的 $q(x_{t-1}\mid x_t)$ 一般难以解析得到，但带上已知的初始样本后，后验

$$q(x_{t-1}\mid x_t,x_0)$$

可以由贝叶斯公式写成

$$q(x_{t-1}\mid x_t,x_0)=q(x_t\mid x_{t-1},x_0)\frac{q(x_{t-1}\mid x_0)}{q(x_t\mid x_0)}.$$

由于正向过程的马尔可夫性质，$q(x_t\mid x_{t-1},x_0)=q(x_t\mid x_{t-1})$，而前面已经求出了 $q(x_{t-1}\mid x_0)$ 与 $q(x_t\mid x_0)$，所以该后验仍然是高斯分布。

3.3 反向后验的闭式形式

令 $y=x_{t-1}$，将三个高斯分布代入上式，有

$$\begin{array}{rl}q(y\mid x_t,x_0)& \propto q(x_t\mid y)q(y\mid x_0)\\ & \propto \exp \left[-\frac{1}{2}\left(\frac{\Vert x_t-\sqrt{{\alpha }_t}y{\Vert }^2}{{\beta }_t}+\frac{\Vert y-\sqrt{{\bar{\alpha }}_{t-1}}{x}_0{\Vert }^2}{1-{\bar{\alpha }}_{t-1}}\right)\right].\end{array}$$

其中分母中的常数来自

$$q(x_t\mid y)=\mathcal{N}(x_t;\sqrt{{\alpha }_t}y,{\beta }_{t}I),q(y\mid x_0)=\mathcal{N}(y;\sqrt{{\bar{\alpha }}_{t-1}}{x}_0,(1-{\bar{\alpha }}_{t-1})I).$$

把指数中的二次型关于 $y$ 展开：

$$\begin{array}{rl}& \frac{\Vert x_t-\sqrt{{\alpha }_t}y{\Vert }^2}{{\beta }_t}+\frac{\Vert y-\sqrt{{\bar{\alpha }}_{t-1}}{x}_0{\Vert }^2}{1-{\bar{\alpha }}_{t-1}}\\ & =\left(\frac{{\alpha }_t}{{\beta }_t}+\frac{1}{1-{\bar{\alpha }}_{t-1}}\right)\Vert y{\Vert }^2\\ & -2{\left(\frac{\sqrt{{\alpha }_t}}{{\beta }_t}{x}_t+\frac{\sqrt{{\bar{\alpha }}_{t-1}}}{1-{\bar{\alpha }}_{t-1}}{x}_0\right)}^{\top }y+C(x_t,x_0).\end{array}$$

二次项系数为

$$\begin{array}{rl}\frac{{\alpha }_t}{{\beta }_t}+\frac{1}{1-{\bar{\alpha }}_{t-1}}& =\frac{{\alpha }_t(1-{\bar{\alpha }}_{t-1})+{\beta }_t}{{\beta }_t(1-{\bar{\alpha }}_{t-1})}\\ & =\frac{1-{\bar{\alpha }}_t}{{\beta }_t(1-{\bar{\alpha }}_{t-1})}.\end{array}$$

因此对二次型配方后，后验仍然是高斯分布：

$$q(x_{t-1}\mid x_t,x_0)=\mathcal{N}\left(x_{t-1};{\tilde{\mu }}_t(x_t,x_0),{\tilde{\beta }}_{t}I\right),$$

其中后验方差为

$${\tilde{\beta }}_t=\frac{1-{\bar{\alpha }}_{t-1}}{1-{\bar{\alpha }}_t}{\beta }_t,$$

后验均值由“方差乘以一次项系数”得到：

$$\begin{array}{rl}{\tilde{\mu }}_t(x_t,x_0)& ={\tilde{\beta }}_t\left(\frac{\sqrt{{\alpha }_t}}{{\beta }_t}{x}_t+\frac{\sqrt{{\bar{\alpha }}_{t-1}}}{1-{\bar{\alpha }}_{t-1}}{x}_0\right)\\ & =\frac{\sqrt{{\bar{\alpha }}_{t-1}}{\beta }_t}{1-{\bar{\alpha }}_t}{x}_0+\frac{\sqrt{{\alpha }_t}(1-{\bar{\alpha }}_{t-1})}{1-{\bar{\alpha }}_t}{x}_t.\end{array}$$

即

$${\tilde{\mu }}_t(x_t,x_0)=\frac{\sqrt{{\bar{\alpha }}_{t-1}}{\beta }_t}{1-{\bar{\alpha }}_t}{x}_0+\frac{\sqrt{{\alpha }_t}(1-{\bar{\alpha }}_{t-1})}{1-{\bar{\alpha }}_t}{x}_t.$$

所以只要给定 $x_0$，反向一步的真实均值和方差都可以解析计算。

但生成时只有 $x_t$，没有 $x_0$，因此需要神经网络根据 $x_t$ 预测出与 $x_0$ 或噪声等价的信息。

4. 从 ELBO 推导 DDPM 损失

4.1 把 DDPM 看成潜变量模型

在 DDPM 中，观测变量是 $x_0$，潜变量是 $x_{1:T}$。真实的正向过程 $q(x_{1:T}\mid x_0)$ 充当变分分布，反向模型 $p_{\theta }(x_{0:T})$ 是要学习的生成模型。

这与 KL 散度分解 完全同一条思路：对边缘似然插入一个容易采样的分布 $q$。

$$\begin{array}{rl}\log p_{\theta }(x_0)& =\log \int p_{\theta }(x_{0:T})d{x}_{1:T}\\ & =\log \int q(x_{1:T}\mid x_0)\frac{p_{\theta }(x_{0:T})}{q(x_{1:T}\mid x_0)}d{x}_{1:T}\\ & \ge {\mathbb{E}}_{q(x_{1:T}\mid x_0)}\left[\log \frac{p_{\theta }(x_{0:T})}{q(x_{1:T}\mid x_0)}\right].\end{array}$$

最后一步是 Jensen 不等式。定义 DDPM 的负 ELBO 损失：

$${\mathcal{L}}_{\mathrm{DDPM}}=-{\mathbb{E}}_{q(x_{1:T}\mid x_0)}\left[\log \frac{p_{\theta }(x_{0:T})}{q(x_{1:T}\mid x_0)}\right].$$

因此，DDPM 并不是脱离 ELBO 的另一套目标，而是把 ELBO 应用到了一个有 $T$ 个潜变量的层次模型上。

4.2 ELBO 的详细推导

负 ELBO 就是正向链与反向链两个联合分布的对数之比（见 4.1 把 DDPM 看成潜变量模型）：

$$L={\mathbb{E}}_{q(x_{1:T}\mid x_0)}\left[\log \frac{q(x_{1:T}\mid x_0)}{p_{\theta }(x_{0:T})}\right].$$

把分子分母按各自的马尔可夫链展开成乘积：

$$\begin{array}{rl}L& ={\mathbb{E}}_{q(x_{1:T}\mid x_0)}\left[\log \frac{{\prod }_{t=1}^{T}q(x_t\mid x_{t-1})}{p(x_T){\prod }_{t=1}^T{p}_{\theta }(x_{t-1}\mid x_t)}\right]\\ & ={\mathbb{E}}_{q(x_{1:T}\mid x_0)}\left[-\log p(x_T)+\sum _{t=1}^T\log \frac{q(x_t\mid x_{t-1})}{p_{\theta }(x_{t-1}\mid x_t)}\right].\end{array}$$

把求和中的 $t=1$ 项单独分离出来，因为它是唯一出现 $p_{\theta }(x_0\mid x_1)$ 的项：

$$L={\mathbb{E}}_{q(x_{1:T}\mid x_0)}\left[-\log p(x_T)+\sum _{t=2}^T\log \frac{q(x_t\mid x_{t-1})}{p_{\theta }(x_{t-1}\mid x_t)}+\log \frac{q(x_1\mid x_0)}{p_{\theta }(x_0\mid x_1)}\right].$$

正向过程是马尔可夫链，所以对 $t\ge 2$ 有 $q(x_t\mid x_{t-1})=q(x_t\mid x_{t-1},x_0)$。把它代入求和中的分子，为下一步用贝叶斯公式做准备：

$$L={\mathbb{E}}_{q(x_{1:T}\mid x_0)}\left[-\log p(x_T)+\sum _{t=2}^T\log \frac{q(x_t\mid x_{t-1},x_0)}{p_{\theta }(x_{t-1}\mid x_t)}+\log \frac{q(x_1\mid x_0)}{p_{\theta }(x_0\mid x_1)}\right].$$

对 $t\ge 2$ 使用贝叶斯公式（并再次利用马尔可夫性质 $q(x_t\mid x_{t-1},x_0)=q(x_t\mid x_{t-1})$）：

$$q(x_{t-1}\mid x_t,x_0)=\frac{q(x_t\mid x_{t-1},x_0)q(x_{t-1}\mid x_0)}{q(x_t\mid x_0)}$$

两边取对数：

$$\log q(x_t\mid x_{t-1},x_0)=\log q(x_{t-1}\mid x_t,x_0)+\log q(x_t\mid x_0)-\log q(x_{t-1}\mid x_0).$$

代入求和后，${\sum }_{t=2}^T[\log q(x_t\mid x_0)-\log q(x_{t-1}\mid x_0)]$ 是望远镜和，只剩首尾 $\log q(x_T\mid x_0)-\log q(x_1\mid x_0)$，恰好与单独的 $t=1$ 项中的 $\log q(x_1\mid x_0)$ 相消：

$$\begin{array}{rl}L& ={\mathbb{E}}_{q(x_{1:T}\mid x_0)}\left[\log \frac{q(x_T\mid x_0)}{p(x_T)}+\sum _{t=2}^T\log \frac{q(x_{t-1}\mid x_t,x_0)}{p_{\theta }(x_{t-1}\mid x_t)}-\log p_{\theta }(x_0\mid x_1)\right]\\ & =\underset{L_T}{\underbrace{{\mathbb{E}}_{q(x_T\mid x_0)}\left[\log \frac{q(x_T\mid x_0)}{p(x_T)}\right]}}+\sum _{t=2}^T\underset{L_{t-1}}{\underbrace{{\mathbb{E}}_{q(x_t\mid x_0)}\left[{\mathbb{E}}_{q(x_{t-1}\mid x_t,x_0)}\left[\log \frac{q(x_{t-1}\mid x_t,x_0)}{p_{\theta }(x_{t-1}\mid x_t)}\right]\right]}}-\underset{L_0}{\underbrace{{\mathbb{E}}_{q(x_1\mid x_0)}\left[\log p_{\theta }(x_0\mid x_1)\right]}}.\end{array}$$

最后一步把期望按各自依赖的变量拆分（不依赖的变量先边缘化掉）。中间项的内层期望正是 KL 散度——对固定的 $x_t$，按后验 $q(x_{t-1}\mid x_t,x_0)$ 平均对数之比：

$$L_{t-1}={\mathbb{E}}_{q(x_t\mid x_0)}\left[D_{\mathrm{KL}}\left(q(x_{t-1}\mid x_t,x_0)\Vert p_{\theta }(x_{t-1}\mid x_t)\right)\right].$$

三部分分别是终点先验 KL、中间反向转移 KL 和最终数据项。

4.3 三项的含义与可忽略项

• $L_T$：终点先验 KL，正向过程最后的 $q(x_T\mid x_0)$ 要接近标准正态先验，通常接近常数；
• $L_{t-1}$：学习的反向一步 $p_{\theta }(x_{t-1}\mid x_t)$ 要逼近真实后验 $q(x_{t-1}\mid x_t,x_0)$；
• $L_0$：最后一步负责把 $x_1$ 还原成数据 $x_0$，是数据重构（似然）项。

$L_0$ 可以忽略：图像像素被量化到 $[0,255]$ 后，$x_1$ 与 $x_0$ 只相差一步很小的噪声（${\beta }_1$ 很小），此时 $-\log p_{\theta }(x_0\mid x_1)$ 几乎不随参数变化，对总损失的贡献很小；DDPM 原论文据此把它与不含可学习参数的 $L_T$ 一并当作常数处理，后续推导（5.2 KL 项化为均方误差）只保留中间的 $L_{t-1}$ 项。

其中终点项可以直接算出闭式形式。对

$$q(x_T\mid x_0)=\mathcal{N}\left(\sqrt{{\bar{\alpha }}_T}{x}_0,(1-{\bar{\alpha }}_T)I\right),p(x_T)=\mathcal{N}(0,I),$$

使用高斯 KL 公式，得到

$$L_T=\frac{1}{2}\left[d\left((1-{\bar{\alpha }}_T)-1-\log (1-{\bar{\alpha }}_T)\right)+{\bar{\alpha }}_T\Vert x_0{\Vert }^2\right].$$

因为 ${\bar{\alpha }}_T$ 和 $x_0$ 都不依赖 $\theta$，所以 $L_T$ 在训练反向网络时是常数；当 ${\bar{\alpha }}_T$ 很小时，$q(x_T\mid x_0)$ 已经非常接近 $\mathcal{N}(0,I)$。

这和 VAE 的

$$-\mathrm{ELBO}=\text{重构损失}+D_{\mathrm{KL}}(q_{\varphi }(z\mid x)\Vert p(z))$$

结构相同，只是 DDPM 的中间潜变量很多，KL 项沿着整条反向链逐步展开。

5. 从预测均值到预测噪声

5.1 用噪声表示真实后验均值

忽略常数项 $L_T$ 和重建项 $L_0$（见 4.3 三项的含义与可忽略项）后，训练目标只剩中间的反向 KL 项 $L_{t-1}$，下面把它化为关于噪声的均方误差。

由正向闭式采样公式

$$x_t=\sqrt{{\bar{\alpha }}_t}{x}_0+\sqrt{1-{\bar{\alpha }}_t}ϵ$$

可以反解出

$$x_0=\frac{1}{\sqrt{{\bar{\alpha }}_t}}\left(x_t-\sqrt{1-{\bar{\alpha }}_t}ϵ\right).$$

将 $x_0$ 代入后验均值，并把 $x_t$ 与 $ϵ$ 的系数分别整理：

$$\begin{array}{rl}{\tilde{\mu }}_t(x_t,x_0)& =\frac{\sqrt{{\bar{\alpha }}_{t-1}}{\beta }_t}{1-{\bar{\alpha }}_t}\frac{x_t-\sqrt{1-{\bar{\alpha }}_t}ϵ}{\sqrt{{\bar{\alpha }}_t}}\\ & +\frac{\sqrt{{\alpha }_t}(1-{\bar{\alpha }}_{t-1})}{1-{\bar{\alpha }}_t}{x}_t.\end{array}$$

由于 ${\bar{\alpha }}_t={\alpha }_t{\bar{\alpha }}_{t-1}$，$x_t$ 的系数为

$$\begin{array}{rl}& \frac{{\beta }_t}{\sqrt{{\alpha }_t}(1-{\bar{\alpha }}_t)}+\frac{\sqrt{{\alpha }_t}(1-{\bar{\alpha }}_{t-1})}{1-{\bar{\alpha }}_t}\\ & =\frac{{\beta }_t+{\alpha }_t(1-{\bar{\alpha }}_{t-1})}{\sqrt{{\alpha }_t}(1-{\bar{\alpha }}_t)}=\frac{1}{\sqrt{{\alpha }_t}},\end{array}$$

而 $ϵ$ 的系数为

$$-\frac{{\beta }_t}{\sqrt{{\alpha }_t}\sqrt{1-{\bar{\alpha }}_t}}.$$

因此得到只依赖 $x_t$ 和真实噪声 $ϵ$ 的形式：

$${\tilde{\mu }}_t(x_t,x_0)=\frac{1}{\sqrt{{\alpha }_t}}\left(x_t-\frac{{\beta }_t}{\sqrt{1-{\bar{\alpha }}_t}}ϵ\right).$$

因此让网络预测噪声

$${ϵ}_{\theta }(x_t,t)\approx ϵ$$

即可定义反向均值：

$${\mu }_{\theta }(x_t,t)=\frac{1}{\sqrt{{\alpha }_t}}\left(x_t-\frac{{\beta }_t}{\sqrt{1-{\bar{\alpha }}_t}}{ϵ}_{\theta }(x_t,t)\right).$$

网络不需要直接输出 $x_0$ 或复杂的后验均值，只需判断当前 $x_t$ 中混入了哪些噪声。

5.2 KL 项化为均方误差

若把反向方差固定为 ${\sigma }_t^{2}I$，可以从高斯 KL 的一般公式出发：

$$\begin{array}{rl}{D}_{\mathrm{KL}}(\mathcal{N}(m_1,S_1)\Vert \mathcal{N}(m_2,S_2))=\frac{1}{2}(& \log \frac{|S_2|}{|S_1|}-d+\mathrm{tr}(S_2^{-1}{S}_1)\\ & +(m_2-m_1{)}^{\top }{S}_2^{-1}(m_2-m_1)).\end{array}$$

取

$$m_1={\tilde{\mu }}_t,S_1={\tilde{\beta }}_{t}I,m_2={\mu }_{\theta },S_2={\sigma }_t^{2}I,$$

得到

$$\begin{array}{rl}& D_{\mathrm{KL}}\left(q(x_{t-1}\mid x_t,x_0)\Vert p_{\theta }(x_{t-1}\mid x_t)\right)\\ & =\frac{1}{2}\left[d\log \frac{{\sigma }_t^2}{{\tilde{\beta }}_t}-d+d\frac{{\tilde{\beta }}_t}{{\sigma }_t^2}+\frac{\Vert {\tilde{\mu }}_t-{\mu }_{\theta }{\Vert }^2}{{\sigma }_t^2}\right].\end{array}$$

其中前三项与网络参数无关，可以并入常数 $C$，于是依赖参数的部分是均值差的平方：

$$L_{t-1}=\mathbb{E}\left[\frac{1}{2{\sigma }_t^2}{\Vert {\tilde{\mu }}_t(x_t,x_0)-{\mu }_{\theta }(x_t,t)\Vert }^2\right]+C.$$

由两个均值的噪声表达式，均值差为

$$\begin{array}{rl}{\tilde{\mu }}_t-{\mu }_{\theta }& =\frac{{\beta }_t}{\sqrt{{\alpha }_t}\sqrt{1-{\bar{\alpha }}_t}}\left({ϵ}_{\theta }(x_t,t)-ϵ\right).\end{array}$$

代入均值差的平方，可得

$$L_{t-1}=\mathbb{E}\left[\frac{{\beta }_t^2}{2{\sigma }_t^2{\alpha }_t(1-{\bar{\alpha }}_t)}{\Vert ϵ-{ϵ}_{\theta }(x_t,t)\Vert }^2\right]+C.$$

所以训练网络的核心就是噪声回归。DDPM 实际中常用去掉时间权重的简化目标：

$${\mathcal{L}}_{\mathrm{simple}}={\mathbb{E}}_{t,x_0,ϵ}\left[{\Vert ϵ-{ϵ}_{\theta }\left(\sqrt{{\bar{\alpha }}_t}{x}_0+\sqrt{1-{\bar{\alpha }}_t}ϵ,t\right)\Vert }^2\right].$$

它的训练含义很直接：随机选一个时间步，把干净样本加噪，再让网络从带噪样本中预测所加入的噪声。

6. 训练算法

对每个训练样本 $x_0$，训练步骤为：

1. 随机采样时间步 $t\sim \mathrm{Uniform}\{1,\dots ,T\}$；
2. 采样标准高斯噪声 $ϵ\sim \mathcal{N}(0,I)$；
3. 用闭式公式构造带噪样本 $$x_t=\sqrt{{\bar{\alpha }}_t}{x}_0+\sqrt{1-{\bar{\alpha }}_t}ϵ;$$
4. 计算噪声预测误差 $$\mathcal{L}={\Vert ϵ-{ϵ}_{\theta }(x_t,t)\Vert }^2;$$
5. 反向传播，更新 $\theta$。

时间步 $t$ 通常通过 sinusoidal positional embedding 编码后输入 U-Net，使同一个网络能够处理不同噪声强度。

7. 采样算法

训练完成后，先采样

$$x_T\sim \mathcal{N}(0,I).$$

对 $t=T,T-1,\dots ,1$：

1. 预测噪声 ${ϵ}_{\theta }(x_t,t)$；
2. 计算反向均值 $${\mu }_{\theta }(x_t,t)=\frac{1}{\sqrt{{\alpha }_t}}\left(x_t-\frac{{\beta }_t}{\sqrt{1-{\bar{\alpha }}_t}}{ϵ}_{\theta }(x_t,t)\right);$$
3. 采样 $$x_{t-1}={\mu }_{\theta }(x_t,t)+{\sigma }_{t}z,z\sim \mathcal{N}(0,I),$$ 当 $t=1$ 时通常令 $z=0$，避免在最终样本中再次加入噪声。

最后得到 $x_0$。因此 DDPM 的生成速度较慢：一次生成需要执行 $T$ 次网络推理，这正是后续快速采样方法要解决的问题。

8. DDPM 与 VAE、ELBO 的联动

8.1 统一视角

概念	VAE	DDPM
观测变量	$x$	$x_0$
潜变量	一个低维 $z$	多个中间状态 $x_{1:T}$
变分分布	$q_{\varphi }(z\mid x)$，由编码器学习	$q(x_{1:T}\mid x_0)$，正向加噪过程固定
生成模型	$p_{\theta }(x\mid z)p(z)$	$p(x_T){\prod }_t{p}_{\theta }(x_{t-1}\mid x_t)$
ELBO 中的逼近	$q_{\varphi }(z\mid x)\approx p_{\theta }(z\mid x)$	$p_{\theta }(x_{t-1}\mid x_t)\approx q(x_{t-1}\mid x_t,x_0)$
训练目标	重构损失加 KL 正则	多个高斯 KL，化为噪声 MSE
生成方式	一次从 $z$ 解码	从 $x_T$ 逐步反向去噪

VAE 的编码器一次性把 $x$ 压缩成 $z$，DDPM 的正向过程则把 $x_0$ 分散到一长串噪声状态中；DDPM 以更长的链换取了更容易学习的局部高斯反向过程。

8.2 与 ELBO 笔记的公式对应

KL 散度分解 中的基本恒等式是

$$\log p(x)={\mathcal{L}}_q+D_{\mathrm{KL}}(q\Vert p(\text{潜变量}\mid x)).$$

DDPM 只是在“潜变量”位置换成整个序列 $x_{1:T}$：

$$\log p_{\theta }(x_0)=-{\mathcal{L}}_{\mathrm{DDPM}}+D_{\mathrm{KL}}\left(q(x_{1:T}\mid x_0)\Vert p_{\theta }(x_{1:T}\mid x_0)\right).$$

最大化 ELBO 就是让反向链逼近真实的正向后验；当每个时间步的局部反向分布都学好时，整条链就能从高斯噪声逐步回到数据分布。

8.3 与 VAE 重参数化的对应

VAE 中重参数化解决的是“如何让随机隐变量采样对网络参数可导”；DDPM 中正向采样也可重参数化为

$$x_t=\sqrt{{\bar{\alpha }}_t}{x}_0+\sqrt{1-{\bar{\alpha }}_t}ϵ.$$

但训练时 $q$ 的均值和方差都由 schedule 固定，网络只需要对噪声预测误差求梯度。因此 DDPM 不需要 VAE 那样的可学习编码器，却仍然保留了“噪声与确定性变换分离”的思想。

9. 一句话总结

DDPM 先用固定的正向马尔可夫链把数据变成高斯噪声，再用神经网络学习反向链；其理论目标是多步潜变量模型的 ELBO，其常用训练形式则是预测正向过程中加入的噪声：

$$\boxed{{\mathcal{L}}_{\mathrm{simple}}={\mathbb{E}}_{t,x_0,ϵ}\left[\Vert ϵ-{ϵ}_{\theta }(x_t,t){\Vert }^2\right]}$$

所以，VAE、ELBO 与 DDPM 的主线可以概括为：引入潜变量降低建模难度，用变分下界替代难算的边缘似然，再通过神经网络学习潜变量对应的生成过程。