2.1期望最大化算法背景.pdf

期望最大化算法

EM算法背景

期望最大化算法（ExpectationMaximization，EM)

•当拥有缺失数据的时候，可以迭代地做参数估计

•两个关键步骤:

Ø期望步[Expectation(E)]

Ø最大化步[Maximization(M)]

•可以解决大量的实际问题

•上世纪50年代就被提出，但形式化是由Dempster,LairdandRubin在1977年完成

•更多的材料，可以参考McLachlanKrishnanbook1997.

EM的应用(1)

EM的应用(2)

•概率隐语义分析[ProbabilisticLatentSemanticAnalysis(pLSA)]

–文本处理领域的常见技术之一

P(z|d)Z

P(w,d)P(w|z)

WW

D

DZ

启发式的例子

数据:

-4-3-2-1012345

目标:建模具有2个组件的高斯混合模型

模型:

这里，

P(x|)

参数:

让固定

即仅仅估计

x

似然函数

似然是参数的一个函数

概率是随机变量x的一个函数

概率模型

想象模型去产生数据



c

需要对每个数据点引入标签z

标签被叫做隐变量，也叫做未观

察或者缺失变量

-4-3-2-1012345

可以极大地简化问题:

如果我们知道标签，我们能够解耦各个组件，使得可以为每个组件单独估计参数

EM的直觉

E-步:用当前的参数计算一个数据点标签的分布；

M-步:用当前标签分布的猜测去升级参数。

E

M

E

M

E

TheEnd