一、概述

当我们处理概率模型时，我们可以从两个不同的视角看待问题：频率学派的视角和贝叶斯的视角。在频率学派的视角下，我们将问题视为一个优化问题，假设模型的最佳参数是一个确定的常数。我们可以回顾一下线性回归（我们使用最小二乘法定义损失函数），支持向量机（最终转化为一个约束优化问题），以及EM算法（我们通过迭代求解模型的参数）。这些方法共享一个特性，那就是它们都在参数空间中寻找最优参数，因此最后都变成了优化问题。

但是，当我们从贝叶斯的视角来看待问题时，问题变成了一个积分问题。在这种情况下，模型的参数并不是一个确定的常数，而是服从一个分布。对于一组给定的样本数据$X$，我们需要对新的样本$\hat{x}$进行评估。

那么为什么从贝叶斯角度来看就会是一个积分问题呢？现在以贝叶斯的角度来看待问题，模型的参数此时并非确定的常数，而是服从一个分布。如果已有多个样本数据记作$X$，对于新的样本$\hat{x}$，需要得到：

$$\begin{gathered} p(\hat{x}|X)={\int }_{\theta }p(\hat{x},\theta |X)\mathrm{d}\theta ={\int }_{\theta }p(\hat{x}|\theta ,X)p(\theta |X)\mathrm{d}\theta \\ \stackrel{\hat{x}与X独立}{=}{\int }_{\theta }p(\hat{x}|\theta )p(\theta |X)\mathrm{d}\theta =E_{\theta |X}[p(\hat{x}|\theta )] \end{gathered}$$

如果新样本和数据集独立，那么这个推断问题就是求概率分布依参数后验分布的期望。推断问题的核心是参数后验分布的求解，推断分为：

1. 精确推断

2. 近似推断-参数空间无法精确求解：

   ①确定性近似-如变分推断

   ②随机近似-如 MCMC，MH，Gibbs

二、公式导出

有以下数据：

$X$ :observed variable

$Z$ :latent variable $+$ parameter

$(X,Z)$ :complete data

我们记 $Z$ 为隐变量和参数的集合（注意这里和以前不太一样，这里的 $Z$ 是隐变量+参数）。接着我们变换概率 $p(X)$ 的形式然后引入分布 $q(Z)$ ，这里的 $X$ 指的是单个样本:

$$\log p(X)=\log p(X,Z)-\log p(Z\mid X)=\log \frac{p(X,Z)}{q(Z)}-\log \frac{p(Z\mid X)}{q(Z)}$$

式子两边同时对 $q(Z)$ 求积分:

$$\begin{gathered} 左边={\int }_{Z}q(Z)\cdot logp(X)\mathrm{d}Z=logp(X){\int }_{Z}q(Z)\mathrm{d}Z=logp(X) \\ 右边=\underset{ELBO(evidencelowerbound)}{{\int }_{Z}q(Z)log\frac{p(X,Z)}{q(Z)}\mathrm{d}Z}\underset{KL(q(Z)||p(Z|X,))}{-{\int }_{Z}q(Z)log\frac{p(Z|X)}{q(Z)}\mathrm{d}Z} \\ =\underset{变分}{L(q)}+\underset{\ge 0}{KL(q||p)} \end{gathered}$$

分布 $q$ 是用来近似后验 $p$ 的，我们的目的是找到一个分布 $q$ 使得 $q$ 与 $p$ 最接近，也就是使 $KL(q\Vert p)$ 越小越好，相当于使 $L(q)$ 越大越好 (注意 $q(Z)$ 其实指的是 $q(Z\mid X)$ ，我们只是简写成 $q(Z))$ ：

$$\tilde{q}(Z)=\underset{q(Z)}{\mathrm{argmax}}L(q)\Rightarrow \tilde{q}(Z)\approx p(Z\mid X)$$

$Z$ 是一个高维随机变量，在变分推断中我们对 $q(Z$ ) 做以下假设（基于平均场假设的变分推断)，也就是说我们把多维变量的不同维度分为 $M$ 组，组与组之间是相互独立的:

$$q(Z)=\prod _{i=1}^M{q}_i\left(Z_i\right)$$

求解时我们固定 $q_i\left(Z_i\right),i\ne j$ 来求 $q_j\left(Z_j\right)$ ，接下来将 $L(q)$ 写作两部分:

$$L(q)=\underset{①}{{\int }_{Z}q(Z)logp(X,Z)\mathrm{d}Z}-\underset{②}{{\int }_{Z}q(Z)logq(Z)\mathrm{d}Z}$$

对于①：

$$\begin{gathered} ①={\int }_Z\prod _{i=1}^M{q}_i(Z_i)logp(X,Z)\mathrm{d}{Z}_1\mathrm{d}{Z}_2\cdots \mathrm{d}{Z}_M \\ ={\int }_{Z_j}{q}_j(Z_j)\underset{{\int }_{Z-Z_j}logp(X,Z){\prod }_{i\ne j}^M{q}_i(Z_i)\mathrm{d}{Z}_i}{\left({\int }_{Z-Z_j}\prod _{i\ne j}^M{q}_i(Z_i)logp(X,Z)\underset{(i\ne j)}{\mathrm{d}{Z}_1\mathrm{d}{Z}_2\cdots \mathrm{d}{Z}_M}\right)}\mathrm{d}{Z}_j \\ ={\int }_{Z_j}{q}_j(Z_j)\cdot E_{{\prod }_{i\ne j}^M{q}_i(Z_i)}[logp(X,Z)]\cdot \mathrm{d}{Z}_j \end{gathered}$$

对于②：

$$\begin{gathered} ②={\int }_{Z}q(Z)logq(Z)\mathrm{d}Z \\ ={\int }_Z\prod _{i=1}^M{q}_i(Z_i)\sum _{i=1}^{M}log{q}_i(Z_i)\mathrm{d}Z \\ ={\int }_Z\prod _{i=1}^M{q}_i(Z_i)[log{q}_1(Z_1)+log{q}_2(Z_2)+\cdots +log{q}_M(Z_M)]\mathrm{d}Z \\ 其中{\int }_Z\prod _{i=1}^M{q}_i(Z_i)log{q}_1(Z_1)\mathrm{d}Z \\ ={\int }_{Z_1{Z}_2\cdots Z_M}{q}_1(Z_1)q_2(Z_2)\cdots q_M(Z_M)\cdot log{q}_1(Z_1)\mathrm{d}{Z}_1\mathrm{d}{Z}_2\cdots \mathrm{d}{Z}_M \\ ={\int }_{Z_1}{q}_1(Z_1)log{q}_1(Z_1)\mathrm{d}{Z}_1\cdot \underset{=1}{{\int }_{Z_2}{q}_2(Z_2)\mathrm{d}{Z}_2}\cdot \underset{=1}{{\int }_{Z_3}{q}_3(Z_3)\mathrm{d}{Z}_3}\cdots \underset{=1}{{\int }_{Z_M}{q}_M(Z_M)\mathrm{d}{Z}_M} \\ ={\int }_{Z_1}{q}_1(Z_1)log{q}_1(Z_1)\mathrm{d}{Z}_1 \\ 也就是说{\int }_Z\prod _{i=1}^M{q}_i(Z_i)log{q}_k(Z_k)\mathrm{d}Z={\int }_{Z_k}{q}_k(Z_k)log{q}_k(Z_k)\mathrm{d}{Z}_k \\ 则②=\sum _{i=1}^M{\int }_{Z_i}{q}_i(Z_i)log{q}_i(Z_i)\mathrm{d}{Z}_i \\ ={\int }_{Z_j}{q}_j(Z_j)log{q}_j(Z_j)\mathrm{d}{Z}_j+C \end{gathered}$$

然后我们可以得到$①-②$：

$$\begin{gathered} 首先①={\int }_{Z_j}{q}_j(Z_j)\cdot \underset{写作log\hat{p}(X,Z_j)}{E_{{\prod }_{i\ne j}^M{q}_i(Z_i)}[logp(X,Z)]}\cdot \mathrm{d}{Z}_j \\ 然后①-②={\int }_{Z_j}{q}_j(Z_j)\cdot log\frac{\hat{p}(X,Z_j)}{q_j(Z_j)}\mathrm{d}{Z}_j+C \\ {\int }_{Z_j}{q}_j(Z_j)\cdot log\frac{\hat{p}(X,Z_j)}{q_j(Z_j)}\mathrm{d}{Z}_j=-KL(q_j(Z_j)||\hat{p}(X,Z_j))\le 0 \end{gathered}$$

当$q_j(Z_j)=\hat{p}(X,Z_j)$才能得到最⼤值。

三、回顾EM算法

回想一下广义EM算法中，我们需要固定$\theta$然后求解与$p$最接近的$q$，这里就可以使用变分推断的方法，我们有如下式子：

$$log{p}_{\theta }(X)=\underset{L(q)}{ELBO}+\underset{\ge 0}{KL(q||p)}\ge L(q)$$

然后求解$q$：

$$\hat{q}=\underset{q}{\mathrm{argmin}}KL(q||p)=\underset{q}{\mathrm{argmax}}L(q)$$

如果我们使用类似于平均场变分推断的方法，我们可以得到一些结果。在这里，$Z_i$并不代表$Z$的第$i$个维度，而是指一组互相独立的变量。对于每一个 $q_j\left(Z_j\right)$ ，我们都固定其余的 $q_i\left(Z_i\right)$ ，然后求解这个值。我们可以使用坐标上升的方法进行迭代求解。上述的推导适用于单个样本，也适用于数据集。

$$\begin{gathered} log{q}_j(Z_j)=E_{{\prod }_{i\ne j}^M{q}_i(Z_i)}[log{p}_{\theta }(X,Z)] \\ ={\int }_{Z_1}{\int }_{Z_2}\cdots {\int }_{Z_{j-1}}{\int }_{Z_{j+1}}\cdots {\int }_{Z_M}{q}_1{q}_2\cdots q_{j-1}{q}_{j+1}\cdots q_M\cdot log{p}_{\theta }(X,Z)\mathrm{d}{Z}_1\mathrm{d}{Z}_2\cdots \mathrm{d}{Z}_{j-1}\mathrm{d}{Z}_{j+1}\cdots \mathrm{d}{Z}_M \end{gathered}$$

一次迭代求解的过程如下：

$$\begin{gathered} log{\hat{q}}_1(Z_1)={\int }_{Z_2}\cdots {\int }_{Z_M}{q}_2\cdots q_M\cdot log{p}_{\theta }(X,Z)\mathrm{d}{Z}_2\cdots \mathrm{d}{Z}_M \\ log{\hat{q}}_2(Z_2)={\int }_{Z_1}{\int }_{Z_3}\cdots {\int }_{Z_M}{\hat{q}}_1{q}_3\cdots q_M\cdot log{p}_{\theta }(X,Z)\mathrm{d}{Z}_1\mathrm{d}{Z}_3\cdots \mathrm{d}{Z}_M \\ ⋮ \\ log{\hat{q}}_M(Z_M)={\int }_{Z_1}\cdots {\int }_{Z_{M-1}}{\hat{q}}_1\cdots {\hat{q}}_{M-1}\cdot log{p}_{\theta }(X,Z)\mathrm{d}{Z}_1\cdots \mathrm{d}{Z}_{M-1} \end{gathered}$$

我们看到，对每一个 $q_j\left(Z_j\right)$ ，都是固定其余的 $q_i\left(Z_i\right)$ ，求这个值，于是可以使用坐标上升的方法进行迭代求解，上面的推导针对单个样本，但是对数据集也是适用的。
需要注意的是变分推断中参数 $\theta$ 是一个随机变量，因此 $Z$ 既包括隐变量也包括参数 $\theta$ ，而在广义EM算法中， $\theta$ 被假设存在一个最优的常量，我们虽然也应用了平均场理论的方法，但是这里的 $Z$ 只包括隐变量， $\theta$ 在这一步中被固定住了，相当于广义EM算法的E-step。

基于平均场假设的变分推断存在一些问题:

(1)假设太强，非常复杂的情况下，假设不适用；

(2)期望中的多重积分，计算量大，可能无法计算。

四、随机梯度变分推断 (SGVI)

1. 直接求导数的方法

从 $Z$ 到 $X$ 的过程叫做生成过程或解码过程，相当于Decoder（从不可见的$Z$生成可见的$X$）。从 $X$ 到 $Z$ 的过程叫做推断过程或编码过程，相当于Encoder（从可见的$X$推断出不可见的$Z$）。基于平均场的变分推断可以导出坐标上升的算法，但是这个假设在一些情况下过于强烈，同时积分也可能无法计算。除了坐标上升，优化方法还有梯度上升，我们希望通过梯度上升得到变分推断的另一种算法。

首先假定 $q(Z)=q_{\varphi }(Z)$ ，是和 $\varphi$ 这个参数相关联的概率分布。于是有:

$$\underset{q(Z)}{\mathrm{argmax}}L(q)=\underset{\varphi }{\mathrm{argmax}}L(\varphi )$$

其中 $L(\varphi )=E_{q_{\varphi }}\left[\log p_{\theta }(X,Z)-\log q_{\varphi }(Z)\right]$ ，这里的 $X$ 表示的是一个样本。

接下来我们关于$\varphi$求偏导${\nabla }_{\varphi }$

$$\begin{gathered} {\nabla }_{\varphi }L(\varphi )={\nabla }_{\varphi }{E}_{q_{\varphi }}[log{p}_{\theta }(X,Z)-log{q}_{\varphi }(Z)] \\ ={\nabla }_{\varphi }\int q_{\varphi }(Z)[log{p}_{\theta }(X,Z)-log{q}_{\varphi }(Z)]\mathrm{d}Z \\ =\underset{①}{\int {\nabla }_{\varphi }{q}_{\varphi }(Z)\cdot [log{p}_{\theta }(X,Z)-log{q}_{\varphi }(Z)]\mathrm{d}Z}+\underset{②}{\int q_{\varphi }(Z){\nabla }_{\varphi }[log{p}_{\theta }(X,Z)-log{q}_{\varphi }(Z)]\mathrm{d}Z} \\ 其中②=\int q_{\varphi }(Z){\nabla }_{\varphi }[\underset{与\varphi 无关}{log{p}_{\theta }(X,Z)}-log{q}_{\varphi }(Z)]\mathrm{d}Z \\ =-\int q_{\varphi }(Z){\nabla }_{\varphi }log{q}_{\varphi }(Z)\mathrm{d}Z \\ =-\int q_{\varphi }(Z)\frac{1}{q_{\varphi }(Z)}{\nabla }_{\varphi }{q}_{\varphi }(Z)\mathrm{d}Z \\ =-\int {\nabla }_{\varphi }{q}_{\varphi }(Z)\mathrm{d}Z \\ =-{\nabla }_{\varphi }\int q_{\varphi }(Z)\mathrm{d}Z \\ =-{\nabla }_{\varphi }1 \\ =0 \\ 因此{\nabla }_{\varphi }L(\varphi )=① \\ =\int {\nabla }_{\varphi }{q}_{\varphi }(Z)\cdot [log{p}_{\theta }(X,Z)-log{q}_{\varphi }(Z)]\mathrm{d}Z \\ =\int q_{\varphi }(Z){\nabla }_{\varphi }log{q}_{\varphi }(Z)\cdot [log{p}_{\theta }(X,Z)-log{q}_{\varphi }(Z)]\mathrm{d}Z \\ =E_{q_{\varphi }}[({\nabla }_{\varphi }log{q}_{\varphi }(Z))(log{p}_{\theta }(X,Z)-log{q}_{\varphi }(Z))] \end{gathered}$$

这个期望可以通过蒙特卡洛采样来近似，从而得到梯度，然后利用梯度上升的方法来得到参数：

$$\begin{gathered} Z^{(l)}\sim q_{\varphi }(Z) \\ {E}_{q_{\varphi }}[({\nabla }_{\varphi }log{q}_{\varphi }(Z))(log{p}_{\theta }(X,Z)-log{q}_{\varphi }(Z))]\approx \frac{1}{L}\sum _{i=1}^L({\nabla }_{\varphi }log{q}_{\varphi }(Z^{(l)}))(log{p}_{\theta }(X,Z^{(l)})-log{q}_{\varphi }(Z^{(l)})) \end{gathered}$$

但是，存在一个问题，求和符号中有一个对数项$log;p_{\theta }$，所以如果我们直接采样，如果采样到$q_{\varphi }(Z)$接近于$0$的样本点，这会造成对数值极不稳定，也就是说直接采样的方差很大，需要非常多的样本。并且，如果计算出的梯度误差已经非常大，那么所得到的$\hat{\varphi }$就会有很大的误差，$\hat{\varphi }$是$q(z)$的参数，误差会一层一层地传递，最后的结果可能会不理想。为了解决方差太大的问题，我们采用了一个技巧，叫做重参数化技巧（Reparameterization）。

2. 重参数化技巧

我们定义$Z=g_{\varphi }(\epsilon ,X),\epsilon \sim p(\epsilon )$，对于$Z\sim q_{\varphi }(Z|X)$，我们有$\left|q_{\varphi }(Z|X)\mathrm{d}Z\right|=\left|p(\epsilon )\mathrm{d}\epsilon \right|$。这是为了将$Z$的随机性转移到$\epsilon$上，使得我们可以将求梯度的操作移到期望的中括号里面，具体如下：

$$\begin{gathered} {\nabla }_{\varphi }L(\varphi )={\nabla }_{\varphi }{E}_{q_{\varphi }}[log{p}_{\theta }(X,Z)-log{q}_{\varphi }(Z)] \\ ={\nabla }_{\varphi }\int q_{\varphi }(Z)[log{p}_{\theta }(X,Z)-log{q}_{\varphi }(Z)]\mathrm{d}Z \\ ={\nabla }_{\varphi }\int [log{p}_{\theta }(X,Z)-log{q}_{\varphi }(Z)]q_{\varphi }(Z)\mathrm{d}Z \\ ={\nabla }_{\varphi }\int [log{p}_{\theta }(X,Z)-log{q}_{\varphi }(Z)]p(\epsilon )\mathrm{d}\epsilon \\ ={\nabla }_{\varphi }{E}_{p(\epsilon )}(log{p}_{\theta }(X,Z)-log{q}_{\varphi }(Z)] \\ =E_{p(\epsilon )}[{\nabla }_{\varphi }(log{p}_{\theta }(X,Z)-log{q}_{\varphi }(Z))] \\ =E_{p(\epsilon )}[{\nabla }_Z(log{p}_{\theta }(X,Z)-log{q}_{\varphi }(Z)){\nabla }_{\varphi }Z] \\ =E_{p(\epsilon )}[{\nabla }_Z(log{p}_{\theta }(X^{(i)},Z)-log{q}_{\varphi }(Z|X^{(i)})){\nabla }_{\varphi }{g}_{\varphi }({\epsilon }^{(l)},X^{(i)})] \end{gathered}$$

解释一下倒数第二步，链式求导法则

$$\frac{\partial f}{\partial \varphi }=\frac{\partial f}{\partial z}\cdot \frac{\partial z}{\partial \varphi }z=g(\varphi )$$

最后一步所有Z都可以看成$g_{\varphi }({\epsilon }^{(l)},X^{(i)})，l=1,2,\dots ,L$， $X^{(i)}$为第i个样本，只是在最后一步列出了完整式子

对最终这个中括号里的式子进行蒙特卡洛采样，然后计算期望，得到梯度。这里的采样就是从$p(\epsilon )$中进行采样了。

SGVI的迭代过程为：

$${\varphi }^{t+1}\leftarrow {\varphi }^t+{\lambda }^t\cdot {\nabla }_{\varphi }L(\varphi )$$

这就是典型的梯度上升，蒙特卡洛采样的方法会在后面的文章中介绍。

总结

EM算法解决的是含有隐变量的参数估计问题（是一个优化方法）；而VI解决的是后验概率的推断问题，求的是概率分布；SGVI的思想是在VI的基础之上，通过假设分布类型，将分布估计转换为参数估计。

“开启掘金成长之旅！这是我参与「掘金日新计划 · 2 月更文挑战」的第 10 天，点击查看活动详情”