变分下界 ELBO

相关：变分自编码器VAE笔记（单步潜变量模型） | 去噪扩散概率模型DDPM笔记（多步潜变量模型上的 ELBO）

预备：概率记号与期望

不熟悉概率记号？先读本节，再回到 边缘分布的困难。

随机变量与分布 $p(x)$、$p(z)$

随机变量是”结果不确定的量”：掷骰子的点数、明天气温；分布 $p(x)$ 描述它取各个值的可能性大小。

• 离散情形（如骰子）：$p(x)=P(X=x)$，例如 $p(3)=\frac{1}{6}$；
• 连续情形（如气温）：$p(x)$ 是密度函数，”$X$ 落在 $[x,x+dx]$ 的概率 $\approx p(x)dx$”。

分布必须归一化（所有可能性的总概率为 1）：

$$\sum _{x}p(x)=1\text{（离散）}\int p(x)dx=1\text{（连续）}$$

本笔记中 $x$ 是观测数据（看得见的，如图片、文本），$z$ 是隐变量（看不见的，如图片的物体类别）；$p(z)$ 叫先验，是”对 $z$ 事先的认识”。

联合、条件、边缘与贝叶斯公式

• $p(x,z)$：联合分布，$x$ 与 $z$ 同时取该值的概率；
• $p(x\mid z)$：条件分布，给定 $z$ 之后 $x$ 的概率，竖线读作”在……条件下”；
• 乘法公式：$p(x,z)=p(x\mid z)p(z)$；
• 边缘化：把不关心的 $z$ 积分掉，$p(x)=\int p(x,z)dz$，这正是正文要算的量。

把乘法公式换一种排列就是贝叶斯公式：

$$p(z\mid x)=\frac{p(x\mid z)p(z)}{p(x)}$$

四个角色：先验 $p(z)$、似然 $p(x\mid z)$、后验 $p(z\mid x)$、证据 $p(x)$。 例：$p(\text{厨师}\mid \text{菜刀})$ 大，即”看到菜刀后，这是位厨师”的概率高；背景中菜刀极少与螺丝刀、雨伞同时出现，后两者的贡献可忽略。

期望：按概率加权平均

期望就是”以概率为权重求平均”。掷骰子：$E[X]=\frac{1+2+\cdots +6}{6}=3.5$。

$$E[X]=\sum _{x}xp(x)\text{（离散）}E[X]=\int xp(x)dx\text{（连续）}$$

直观上 $E[X]$ 是”重复实验无穷多次的平均结果”。任意函数 $f$ 的期望同理：

$$E[f(X)]=\int f(x)p(x)dx$$

期望满足线性性：$E[aX+b]=aE[X]+b$、$E[X+Y]=E[X]+E[Y]$（正文把常数 $\log p(x)$ 提出期望用的就是这条）。 注意 $E[\log X]\ne \log E[X]$：$\log$ 是凹函数，只有 Jensen 不等式 $E[\log X]\le \log E[X]$（下文推导会用到）。

记号 E_{z∼q}[·]

读作”$z$ 按分布 $q$ 抽取，再对括号内取平均”：

$$E_{z\sim q}[g(z)]=\int g(z)q(z)dz$$

与 $E[X]$ 的区别只是显式写明平均所用的分布。本笔记主要在四处使用它：

1. KL 散度：$D_{\mathrm{KL}}[q\Vert p]=E_{z\sim q}\left[\log \frac{q(z)}{p(z)}\right]$，即按 $q$ 平均两个分布对数之比；
2. 指数例子中的矩：$E_q[z]=\frac{1}{\theta }$、$E_q[z^2]=\frac{2}{{\theta }^2}$，代入即可闭式计算 ELBO；
3. 重要性采样恒等式：$E_{z\sim q}\left[\frac{p(x,z)}{q(z)}\right]=\int p(x,z)dz=p(x)$，只要 $q$ 的支撑覆盖 $z$ 就成立，是 Jensen 路线的基础；
4. 重构项：$E_{z\sim q}[\log p(x\mid z)]$，按变分分布平均”重构对数似然”。

边缘分布的困难

概率记号不熟？先看 预备：概率记号与期望。

隐变量与后验

我们想对观测数据 $x$ 的分布 $p(x)$ 建模，但直接建模十分困难。 引入简单隐变量 $z$，把边缘分布写成

$$p(x)=\int p(x\mid z)p(z)dz$$

该积分一般无法解析计算；注意 $p(x)$ 不含 $z$，在关于 $z$ 的期望中可视为常数。 由贝叶斯公式

$$p(z\mid x)=\frac{p(x\mid z)p(z)}{p(x)}$$

困难集中在后验 $p(z\mid x)$ 上，故引入参数化的变分分布 $q_{\theta }(z)$ 来近似它。 为记号简洁，推导中先写与 $x$ 无关的 $q_{\theta }(z)$，VAE（见 变分自编码器VAE笔记）再推广为编码器 $q_{\varphi }(z\mid x)$；相应地，生成过程为 $z\sim p(z)$、$x\sim p(x\mid z)$（解码器）。

直观理解

由 $p(z\mid x)\propto p(x\mid z)p(z)$ 可知，被积函数只在 $p(z\mid x)$ 大的区域显著，其余 $z$ 几乎没有贡献。 因此近似 $p(x)$ 时只需覆盖后验集中的区域，这正是 $q_{\theta }$ 应集中的地方。 例如 $p(\text{厨师}\mid \text{菜刀})$ 大，菜刀对 $p(\text{厨师})$ 的计算贡献大；而螺丝刀、雨伞之类可以舍弃。

ELBO 的推导

思路：$p(z\mid x)$ 难算，就用 KL 散度度量 $q_{\theta }$ 与后验的差距，把 $\log p(x)$ 从该距离中反解出来。

KL 散度分解

从变分分布与后验的 KL 散度出发：

$$D_{\mathrm{KL}}[q_{\theta }(z)\Vert p(z\mid x)]={\mathbb{E}}_{z\sim q}[\log q_{\theta }(z)-\log p(z\mid x)]$$

代入 $\log p(z\mid x)=\log p(z,x)-\log p(x)$，并把常数 $\log p(x)$ 提出期望：

$$D_{\mathrm{KL}}[q_{\theta }\Vert p(z\mid x)]={\mathbb{E}}_{z\sim q}[\log q_{\theta }(z)-\log p(z,x)]+\log p(x)$$

移项即得基本恒等式：

$$\log p(x)=\underset{\text{ELBO }{\mathcal{L}}_q}{\underbrace{{\mathbb{E}}_{z\sim q}[\log p(z,x)-\log q_{\theta }(z)]}}+D_{\mathrm{KL}}[q_{\theta }(z)\Vert p(z\mid x)]$$

Jensen 不等式路线

同一下界也可由重要性采样加 Jensen 得到：$\frac{p(x,z)}{q_{\theta }(z)}$ 是 $p(x)$ 的无偏估计，

$$p(x)=\int p(x,z)dz={\mathbb{E}}_{z\sim q}\left[\frac{p(x,z)}{q_{\theta }(z)}\right]$$

取对数后由 $\log$ 的凹性（Jensen 不等式）：

$$\log p(x)\ge {\mathbb{E}}_{z\sim q}\left[\log \frac{p(x,z)}{q_{\theta }(z)}\right]={\mathcal{L}}_q$$

两边缺口恰为 $D_{\mathrm{KL}}[q_{\theta }\Vert p(z\mid x)]\ge 0$，与 KL 路线一致。

“下界”的含义

由 $D_{\mathrm{KL}}\ge 0$ 得 ${\mathcal{L}}_q\le \log p(x)$，即 ELBO 是对数似然（对数证据）的下界。 最大化 ${\mathcal{L}}_q$ 同时最小化了 KL 散度，使 $q_{\theta }$ 更接近真实后验，也把下界抬向 $\log p(x)$。

等价形式与两项解读

重构项 − 正则项

把 $\log p(x,z)=\log p(x\mid z)+\log p(z)$ 拆开：

$${\mathcal{L}}_q={\mathbb{E}}_{z\sim q}[\log p(x\mid z)]-D_{\mathrm{KL}}[q_{\theta }(z)\Vert p(z)]$$

重构项 ${\mathbb{E}}_{z\sim q}[\log p(x\mid z)]$ 为什么叫”重构”，分三步看：

1. $p(x\mid z)$ 是”给定 $z$ 生成出 $x$ 的概率”，扮演解码器：$z$ 是压缩后的编码，$x$ 是从编码恢复出的数据；
2. $\log p(x\mid z)$ 大，说明”用这个 $z$ 生成 $x$“这件事很靠谱，即 $z$ 保存了 $x$ 的关键信息；
3. 外面按 $q_{\theta }$ 取平均，意为”按变分分布随机抽一个 $z$，都应该能解释 $x$“——这就是”由 $z$ 能准确重构 $x$”。

呼应前面的例子：$p(\text{菜刀}\mid \text{厨师})$ 大，就是从隐变量”厨师”能重构出观测”菜刀”；反过来 $p(\text{菜刀}\mid \text{雨伞})$ 小，就重构不出来。 用例子里的高斯似然 $\log p(x\mid z)=-\frac{1}{2}(x-z{)}^2+\text{const}$ 看得最直接：最大化重构项 ⟺ 最小化 $(x-z{)}^2$，抽出的 $z$ 必须贴近 $x$。一维时是数值贴近；VAE 中则是解码器输出的重建图与输入图逐像素接近。

正则项 $-D_{\mathrm{KL}}[q_{\theta }(z)\Vert p(z)]$ 起平衡作用：若只看重构项，$q_{\theta }$ 会坍缩成”把全部概率放在单个 $z$ 上的退化分布”（最能重构 $x$ 的那个点）；正则项用先验 $p(z)$ 把 $q_{\theta }$ 拉住，使它不坍缩、保持在先验附近并保留一定宽度。

例子：指数先验与高斯似然

联合分布与真实后验

先验取简单分布 $p(z)=e^{-z}\mathcal{I}(z\ge 0)$，似然为 $p(x\mid z)=\mathcal{N}(x;z,1)=\frac{1}{\sqrt{2\pi }}{e}^{-\frac{1}{2}(x-z{)}^2}$.

$$p(x,z)=\frac{1}{\sqrt{2\pi }}{e}^{-\frac{1}{2}(x-z{)}^2}{e}^{-z}\mathcal{I}(z\ge 0)$$

指数配方 $-\frac{1}{2}(x-z{)}^2-z=-\frac{1}{2}(z-(x-1){)}^2+C$，故后验为截断正态：

$$p(z\mid x)\propto e^{-\frac{1}{2}(z-(x-1){)}^2}\mathcal{I}(z\ge 0)$$

归一化常数 $p(x)$ 随观测 $x$ 变化且难以解析计算，正是变分近似的动机。

优化 ELBO

取变分分布为指数分布 $q_{\theta }(z)=\theta e^{-\theta z}\mathcal{I}(z\ge 0)$，则 $\log q_{\theta }(z)=\log \theta -\theta z$. 利用指数分布矩 ${\mathbb{E}}_q[z]=\frac{1}{\theta }$、${\mathbb{E}}_q[z^2]=\frac{2}{{\theta }^2}$，展开 $\log p(x,z)-\log q_{\theta }(z)$：把不含 $z$ 且与 $\theta$ 无关的项并入 $C$，而 $-\log \theta$ 必须保持显式（它含 $\theta$，求导时不能丢）：

$${\mathcal{L}}_q={\mathbb{E}}_{z\sim q}\left[-\frac{1}{2}{z}^2+(x-1+\theta )z\right]-\log \theta +C=-\frac{1}{{\theta }^2}+\frac{x-1+\theta }{\theta }-\log \theta +C$$

令导数为零：

$$\frac{\partial {\mathcal{L}}_q}{\partial \theta }=\frac{2}{{\theta }^3}-\frac{x-1}{{\theta }^2}-\frac{1}{\theta }=0⟹{\theta }^2+(x-1)\theta -2=0$$

取 $x=1.5$，解得 $\theta =\frac{-0.5+\sqrt{8.25}}{2}\approx 1.186$.

结果讨论

此时变分分布均值 $1/{\theta }^{\ast }\approx 0.84$，与真实后验（中心在 $x-1=0.5$ 的截断正态）形态相近，验证了”最大化 ELBO 使 $q_{\theta }$ 逼近后验”。 本例中所有期望均可闭式计算，无需采样；$p(x)$ 的归一化常数从头到尾没有算过，这正是变分近似的价值。

走向 VAE

把变分分布推广为编码器 $q_{\varphi }(z\mid x)$ 后，配合解码器 $p_{\theta }(x\mid z)$ 与重参数化技巧，就得到完整的 VAE——网络结构、损失推导与训练细节见 变分自编码器VAE笔记。

主线回顾

1. 动机：$p(x)$ 的积分难算，根源是后验 $p(z\mid x)$ 未知；
2. 推导：由 KL 分解或 Jensen 不等式得恒等式 $\log p(x)={\mathcal{L}}_q+D_{\mathrm{KL}}$；
3. 解读：ELBO 拆为重构项 + 正则项，两项均可计算；
4. 例证：指数先验 × 高斯似然下闭式优化 $\theta$，验证 $q_{\theta }\to p(z\mid x)$；
5. 应用：VAE（见 变分自编码器VAE笔记）用编码器输出变分参数，重参数化保证梯度可回传。

相关：KL 散度分解 | 重构项 − 正则项 | 优化 ELBO | 结果讨论 | 变分自编码器VAE笔记