一、概述

1. 介绍

概率模型有时既包含观测变量（observed variable），又包含隐变量（latent variable）。当概率模型只包含观测变量时，那么给定观测数据，就可以直接使用极大似然估计法或者贝叶斯估计法进行模型参数的求解。然而如果模型包含隐变量，就不能直接使用这些简单的方法了。EM算法就是用来解决这种含有隐变量的概率模型参数的极大似然参数估计法。这里只讨论极大似然估计，极大后验估计与其类似。

2. 算法

EM算法的输入如下：

$X$ :观测数据

$Z$ : 末观测数据 (隐变量)

$p(x,z\mid \theta )$ : 联合分布

$p(z\mid x,\theta )$ :后验分布

$\theta$ :parameter

在算法运行开始时需要选择模型的初始化参数 ${\theta }^{(0)}$ 。EM算法是一种迭代更新的算法，其计算公式为:

$$\begin{array}{c}{\theta }^{t+1}=\underset{\theta }{\mathrm{argmax}{E}_{z\mid x,{\theta }^t}[\log p(x,z\mid \theta )]}\\ =\underset{\theta }{\mathrm{argmax}}{\int }_z\log p(x,z\mid \theta )\cdot p\left(z\mid x,{\theta }^t\right)\mathrm{d}z\end{array}$$

这个公式包含了迭代的两步:

• ①E step: 计算 $p(x,z\mid \theta )$ 在概率分布 $p\left(z\mid x,{\theta }^t\right)$ 下的期望；

• ②M step: 计算使这个期望最大化的参数得到下一个EM步骤的输入。

总结来说，EM算法包含以下步骤：

• ①选择初始化参数${\theta }^{(0)}$；
• ②E step；
• ③M step；
• ④重复②③步直至收敛。

二、EM算法的收敛性

现在要证明迭代求得的 ${\theta }^t$ 序列会使得对应的 $p\left(x\mid {\theta }^t\right)$ 是单调递增的 (如果 $p\left(x\mid {\theta }^t\right)$ 是单调递 增的，那么训练数据的似然就是单调递增的），也就是说要证明 $p\left(x\mid {\theta }^t\right)\le p\left(x\mid {\theta }^{t+1}\right)$ 。首先我们有:

$$\log p(x\mid \theta )=\log p(x,z\mid \theta )-\log p(z\mid x,\theta )$$

接下来等式两边同时求关于 $p\left(z\mid x,{\theta }^t\right)$ 的期望:

$$\begin{array}{c}\text{ 左边 }={\int }_{z}p\left(z\mid x,{\theta }^t\right)\cdot \log p(x\mid \theta )\mathrm{d}z\\ =\log p(x\mid \theta ){\int }_{z}p\left(z\mid x,{\theta }^t\right)\mathrm{d}z\\ =\log p(x\mid \theta )\\ \text{ 右边 }=\underset{\text{记作 }Q\left(\theta ,{\theta }^t\right)}{{\int }_{z}p\left(z\mid x,{\theta }^t\right)\cdot \log p(x,z\mid \theta )\mathrm{d}z}-\underset{\text{记作 }H\left(\theta ,{\theta }^t\right)}{{\int }_{z}p\left(z\mid x,{\theta }^t\right)\cdot \log p(z\mid x,\theta )\mathrm{d}z}\end{array}$$

因此有：

$$\log p(x\mid \theta )={\int }_{z}p\left(z\mid x,{\theta }^t\right)\cdot p(x,z\mid \theta )\mathrm{d}z-{\int }_{z}p\left(z\mid x,{\theta }^t\right)\cdot \log p(z\mid x,\theta )\mathrm{d}z$$

这里定义了 $Q\left(\theta ,{\theta }^t\right)$ ，称为 $\mathrm{Q}$ 函数 ( $\mathrm{Q}$ function)，这个函数也就是上面的概述中迭代公式里 用到的函数，因此满足 $Q\left({\theta }^{t+1},{\theta }^t\right)\ge Q\left({\theta }^t,{\theta }^t\right)$ 。

接下来将上面的等式两边 $\theta$ 分别取 ${\theta }^{t+1}$ 和 ${\theta }^t$ 并相减:

$$\log p\left(x\mid {\theta }^{t+1}\right)-\log p\left(x\mid {\theta }^t\right)=\left[Q\left({\theta }^{t+1},{\theta }^t\right)-Q\left({\theta }^t,{\theta }^t\right)\right]-\left[H\left({\theta }^{t+1},{\theta }^t\right)-H\left({\theta }^t,{\theta }^t\right)\right]$$

我们需要证明 $\log p\left(x\mid {\theta }^{t+1}\right)-\log p\left(x\mid {\theta }^t\right)\ge 0$ ，同时已知$Q\left({\theta }^{t+1},{\theta }^t\right)-Q\left({\theta }^t,{\theta }^t\right)\ge 0$，现在来观察$H\left({\theta }^{t+1},{\theta }^t\right)-H\left({\theta }^t,{\theta }^t\right)\text{ : }$

$$\begin{gathered} H({\theta }^{t+1},{\theta }^t)-H({\theta }^t,{\theta }^t) \\ ={\int }_{z}p(z|x,{\theta }^t)\cdot logp(z|x,{\theta }^{t+1})\mathrm{d}z-{\int }_{z}p(z|x,{\theta }^t)\cdot logp(z|x,{\theta }^t)\mathrm{d}z \\ ={\int }_{z}p(z|x,{\theta }^t)\cdot log\frac{p(z|x,{\theta }^{t+1})}{p(z|x,{\theta }^t)}\mathrm{d}z \\ \le log{\int }_{z}p(z|x,{\theta }^t)\frac{p(z|x,{\theta }^{t+1})}{p(z|x,{\theta }^t)}\mathrm{d}z \\ =log{\int }_{z}p(z|x,{\theta }^{t+1})\mathrm{d}z \\ =log1 \\ =0 \end{gathered}$$

这里的不等号应用了Jensen不等式：

$$log\sum _j{\lambda }_j{y}_j\ge \sum _j{\lambda }_{j}log{y}_j,其中{\lambda }_j\ge 0，\sum _j{\lambda }_j=1$$

也可以使用KL散度来证明 ${\int }_{z}p\left(z\mid x,{\theta }^t\right)\cdot \log \frac{p\left(z\mid x,{\theta }^{t+1}\right)}{p\left(z\mid x,{\theta }^t\right)}\mathrm{d}z\le 0$ ，两个概率分布 $P(x)$ 和 $Q(x)$ 的KL散度是恒 $\ge 0$ 的，定义为:

$$D_{KL}(P\Vert Q)=E_{x\sim P}\left[\log \frac{P(x)}{Q(x)}\right]$$

因此有:

$${\int }_{z}p\left(z\mid x,{\theta }^t\right)\cdot \log \frac{p\left(z\mid x,{\theta }^{t+1}\right)}{p\left(z\mid x,{\theta }^t\right)}\mathrm{d}z=-KL\left(p\left(z\mid x,{\theta }^t\right)||p\left(z\mid x,{\theta }^{t+1}\right)\right)\le 0$$

因此得证 $\log p\left(x\mid {\theta }^{t+1}\right)-\log p\left(x\mid {\theta }^t\right)\ge 0$ 。这说明使用EM算法迭代更新参数可以使得 $\log p(x\mid \theta )$ 逐步增大。

另外还有其他定理保证了EM的算法收敛性。首先对于 ${\theta }^i(i=1,2,\cdots )$ 序列和其对应的对数似然序列 $L\left({\theta }^t\right)=\log p\left(x\mid {\theta }^t\right)(t=1,2,\cdots )$ 有如下定理:

• ①如果 $p(x\mid \theta )$ 有上界，则 $L\left({\theta }^t\right)=\log p\left(x\mid {\theta }^t\right)$ 收敛到某一值 $L^{\ast }$ ；

• ②在函数 $Q\left(\theta ,{\theta }^{\prime }\right)$ 与 $L(\theta )$ 满足一定条件下，由EM算法得到的参数估计序列 ${\theta }^t$ 的收敛值 ${\theta }^{\ast }$ 是 $L(\theta )$ 的稳定点。

三、EM算法的导出

1. ELBO+KL散度的方法

对于前面用过的式子，首先引入一个新的概率分布$q(z)$：

$$\begin{gathered} logp(x|\theta )=logp(x,z|\theta )-logp(z|x,\theta ) \\ =log\frac{p(x,z|\theta )}{q(z)}-log\frac{p(z|x,\theta )}{q(z)}q(z)\ne 0 \end{gathered}$$

以上引入一个关于$z$的概率分布$q(z)$，然后式子两边同时求对$q(z)$的期望：

$$\begin{gathered} 左边={\int }_{z}q(z)\cdot logp(x|\theta )\mathrm{d}z=logp(x|\theta ){\int }_{z}q(z)\mathrm{d}z=logp(x|\theta ) \\ 右边=\underset{ELBO(evidencelowerbound)}{{\int }_{z}q(z)log\frac{p(x,z|\theta )}{q(z)}\mathrm{d}z}\underset{KL(q(z)||p(z|x,\theta ))}{-{\int }_{z}q(z)log\frac{p(z|x,\theta )}{q(z)}\mathrm{d}z} \end{gathered}$$

因此我们得出 $\log p(x\mid \theta )=ELBO+KL(q\Vert p)$ ，由于KL散度恒 $\ge 0$ ，因此$\log p(x\mid \theta )\ge ELBO$ ，则 $ELBO$ 就是似然函数 $\log p(x\mid \theta )$ 的下界。使得$\log p(x\mid \theta )=ELBO$ 时，就必须有 $KL(q\Vert p)=0$ ，也就是 $q(z)=p(z\mid x,\theta )$ 时。在

每次迭代中我们取 $q(z)=p\left(z\mid x,{\theta }^t\right)$ ，就可以保证 $\log p\left(x\mid {\theta }^t\right)$ 与 $ELBO$ 相等，也就是:

$$logp(x|\theta )=\underset{ELBO}{{\int }_{z}p(z|x,{\theta }^t)log\frac{p(x,z|\theta )}{p(z|x,{\theta }^t)}\mathrm{d}z}\underset{KL(p(z|x,{\theta }^t)||p(z|x,\theta ))}{-{\int }_{z}p(z|x,{\theta }^t)log\frac{p(z|x,\theta )}{p(z|x,{\theta }^t)}\mathrm{d}z}$$

当 $\theta ={\theta }^t$ 时， $\log p\left(x\mid {\theta }^t\right)$ 取ELBO，即:

$$logp(x|{\theta }^t)=\underset{ELBO}{{\int }_{z}p(z|x,{\theta }^t)log\frac{p(x,z|{\theta }^t)}{p(z|x,{\theta }^t)}\mathrm{d}z}\underset{=0}{-{\int }_{z}p(z|x,{\theta }^t)log\frac{p(z|x,{\theta }^t)}{p(z|x,{\theta }^t)}\mathrm{d}z}=ELBO$$

也就是说 $\log p(x\mid \theta )$ 与 $ELBO$ 都是关于 $\theta$ 的函数，且满足 $\log p(x\mid \theta )\ge ELBO$ ，也就 是说 $\log p(x\mid \theta )$ 的图像总是在 $ELBO$ 的图像的上面。

对于 $q(z)$ ，我们取$q(z)=p\left(z\mid x,{\theta }^t\right)$ ，这也就保证了只有在 $\theta ={\theta }^t$ 时 $\log p(x\mid \theta )$ 与 $ELBO$ 才会相等，因 此使 $ELBO$ 取极大值的 ${\theta }^{t+1}$ 一定能使得 $\log p\left(x\mid {\theta }^{t+1}\right)\ge \log p\left(x\mid {\theta }^t\right)$ 。该过程如下图 所示:

然后我们观察一下$ELBO$取极大值的过程：

$$\begin{gathered} {\theta }^{t+1}=\underset{\theta }{\mathrm{argmax}}ELBO \\ =\underset{\theta }{\mathrm{argmax}}{\int }_{z}p(z|x,{\theta }^t)log\frac{p(x,z|\theta )}{p(z|x,{\theta }^t)}\mathrm{d}z \\ =\underset{\theta }{\mathrm{argmax}}{\int }_{z}p(z|x,{\theta }^t)logp(x,z|\theta )\mathrm{d}z-\underset{与\theta 无关}{\underset{\theta }{\mathrm{argmax}}{\int }_{z}p(z|x,{\theta }^t)p(z|x,{\theta }^t)\mathrm{d}z} \\ =\underset{\theta }{\mathrm{argmax}}{\int }_{z}p(z|x,{\theta }^t)logp(x,z|\theta )\mathrm{d}z \\ =\underset{\theta }{\mathrm{argmax}}{E}_{z|x,{\theta }^t}[logp(x,z|\theta )] \end{gathered}$$

由此我们就导出了EM算法的迭代公式。

2. ELBO+Jensen不等式的方法

首先要具体介绍一下Jensen不等式：对于一个凹函数 $f(x)$（国内外对凹凸函数的定义恰好相反，这里的凹函数指的是国外定义的凹函数)，我们查看其图像如下：

$$\begin{gathered} t\in [0,1] \\ c=ta+(1-t)b \\ \varphi =tf(a)+(1-t)f(b) \end{gathered}$$

凹函数恒有 $f(c)\ge \varphi ＼mathrm，也就是f(ta+(1-t)b)\ge tf(a)+(1-t)f(b)$ ，当 $t=\frac{1}{2}$ 时有 $f\left(\frac{a}{2}+\frac{b}{2}\right)\ge \frac{f(a)}{2}+\frac{f(b)}{2}$ ，可以理解为对于凹函数来说 先求期望再求函数值 恒 $\ge$ 先求函数值再求期望，即 $f(E)\ge E[f]$ 。

上面的说明只是对Jensen不等式的一个形象的描述，而非严谨的证明。接下来应用Jensen不等式来导出EM算法:

$$\begin{array}{c}\log p(x\mid \theta )=\log {\int }_{z}p(x,z\mid \theta )\mathrm{d}z\\ =\log {\int }_z\frac{p(x,z\mid \theta )}{q(z)}\cdot q(z)\mathrm{d}z\\ =\log E_{q(z)}\left[\frac{p(x,z\mid \theta )}{q(z)}\right]\\ \ge \underset{ELBO}{E_{q(z)}\left[\log \frac{p(x,z\mid \theta )}{q(z)}\right]}\end{array}$$

这里应用了Jensen不等式得到了上面出现过的 $ELBO$ ，这里的 $f(x)$ 函数也就是 $\log$ 函数， 显然这是一个凹函数。当 $\log \frac{P(x,z\mid \theta )}{q(z)}$ 这个函数是一个常数时会取得等号，利用这一点我们 也同样可以得到 $q(z)=p(z\mid x,\theta )$ 时能够使得 $\log p(x\mid \theta )=ELBO$ 的结论:

$$\begin{gathered} \frac{p(x,z|\theta )}{q(z)}=C \\ \Rightarrow q(z)=\frac{p(x,z|\theta )}{C} \\ \Rightarrow {\int }_{z}q(z)\mathrm{d}z={\int }_z\frac{1}{C}p(x,z|\theta )\mathrm{d}z \\ \Rightarrow 1=\frac{1}{C}{\int }_{z}p(x,z|\theta )\mathrm{d}z \\ \Rightarrow C=p(x|\theta ) \\ 将C代入q(z)=\frac{p(x,z|\theta )}{C}得 \\ q(z)=\frac{p(x,z|\theta )}{p(x|\theta )}=p(z|x,\theta ) \end{gathered}$$

这种方法到这里就和上面的方法一样了，总结来说就是：

$$logp(x|\theta )\ge \underset{ELBO}{E_{q(z)}[log\frac{p(x,z|\theta )}{q(z)}]}$$

上面的不等式在$q(z)=p(z|x|\theta )$时取等号，因此在迭代更新过程中取$q(z)=p(z|x,{\theta }^t)$接下来的推导过程就和第1种方法一样了。

四、广义EM算法

上面介绍的EM算法属于狭义的EM算法，它是广义EM的一个特例。在上面介绍的EM算法的E步中我们假定$q(z)=p(z|x,{\theta }^t)$，但是如果这个后验$p(z|x,{\theta }^t)$无法求解，那么必须使⽤采样（MCMC)或者变分推断等⽅法来近似推断这个后验。前面我们得出了以下关系：

$$\log p(x\mid \theta )={\int }_{z}q(z)\log \frac{p(x,z\mid \theta )}{q(z)}\mathrm{d}z-{\int }_{z}q(z)\log \frac{p(z\mid x,\theta )}{q(z)}\mathrm{d}z=ELBO+KL(q\Vert p)$$

当我们对于固定的 $\theta$ ，我们希望 $KL(q\Vert p)$ 越小越好，这样就能使得 $ELBO$ 更大:

$$固定\theta ,\hat{q}=\underset{q}{\mathrm{argmin}}KL(q\Vert p)=\underset{q}{\mathrm{argmax}}ELBO$$

$ELBO$ 是关于 $q$ 和 $\theta$ 的函数，写作 $L(q,\theta )$ 。以下是广义EM算法的基本思路:

E step: $q^{t+1}=\mathrm{argmax}L\left(q,{\theta }^t\right)$
M step: ${\theta }^{t+1}=\underset{q}{\mathrm{argmax}}L\left(q^{t+1},\theta \right)$

再次观察一下 $ELBO$ :

$$\begin{gathered} ELBO=L(q,\theta )=E_q[logp(x,z)-logq] \\ =E_q[logp(x,z)]\underset{H[q]}{-E_q[logq]} \end{gathered}$$

因此，我们看到，⼴义 EM 相当于在原来的式⼦中加⼊熵$H[q]$这⼀项。

五、EM的变种

EM 算法类似于坐标上升法，固定部分坐标，优化其他坐标，再⼀遍⼀遍的迭代。如果在 EM 框架中，⽆法求解$z$后验概率，那么需要采⽤⼀些变种的 EM 来估算这个后验：

①基于平均场的变分推断，VBEM/VEM

②基于蒙特卡洛的EM，MCEM

“开启掘金成长之旅！这是我参与「掘金日新计划 · 2 月更文挑战」的第 8 天，点击查看活动详情”