EM（最大期望算法）极大似然估计参考.ppt

EM（最大期望算法） Expectation-maximization algorithm 极大似然估计 EM算法 极大似然估计方法是一种参数估计方法 是已知某个随机样本满足某种概率分布，但是其中具体的参数不清楚，参数估计就是通过若干次试验，观察其结果，利用结果推出参数的大概值 原理：一个随机试验如果有若干个可能的 结果A，B，C，…。若在一次试验中，结果A出现，则一般认为试验条件对A出现有利，也即A出现的概率很大 思想：已知某个参数能使这个样本出现的概率最大，我们当然不会再去选择其他小概率的样本，所以干脆就把这个参数作为估计的真实值 极大似然估计 极大似然估计 设总体X是离散型随机变量，其分布中含有未知参数θ，设x （x1，x2.....xn）是取自总体X的一个样本，（x1，x2.....xn）是其观察值。则取到这组样本观察值的概率是： 定义似然函数为： 这里x1，x2.....xn是观测值，且独立同分布，L(θ)看做参数θ的函数，它可作为θ已多大可能性产生样本值X1，X2，....Xn的一种度量 极大似然估计 最大似然估计法就是使用L（θ）达到最大值的 去估计θ 称 为θ的最大似然估计值。而相应的统计量θ（X1，X2，....Xn）称为θ的最大似然估计量。 同理，设总体X是连续型随机变量，密度函数为f(x;θ),其中θ为未知参数，则定义似然函数为： 极大似然估计 上式，其中x1，x2.....xn是样本观察值， 称 为θ的最大似然估计值。而相应的统计量θ（X1，X2，....Xn）称为θ的最大似然估计量。 求最大似然函数估计值的一般步骤 1写出似然函数L（θ） 2对似然函数取对数，并整理lnL(θ) 3求导数令导数为0，得到似然方程 4解似然方程，得到的参数即为所求 极大似然估计 EM算法Expectation-maximization algorithm 　　　 EM算法是一种基于模型的聚类算法,假设样本分布符合高斯混合模型，算法目的是确定各个高斯部件的参数，充分拟合给定数据，并得到一个模糊聚类，即每个样本以不同概率属于每个高斯分布，概率数值将由以上各个参数计算得到， EM算法广泛地应用于拟合数据缺损的混合分布。 在求最大似然估计(MLE)时，当分布中有多余参数或数据为截尾或缺失，其MLE的求取是比较困难的，于是提出EM算法，其出发点是把求极大似然估计的过程分两步走，第一步求期望即E，以便把多余的部分去掉。第二步求极大值即M。 EM算法Expectation-maximization algorithm 设一次实验可能有四个结果，其发生的概率分别为 其中θ €(0,1) ，现进行了197次试验，四种结果的发生次数分别为75，18，70，34，求MLE（极大似然估计） 　　解：以y1,y2,y3,y4表示四种类结果发生的次数，此时总体分布为多项分布，故其似然函数: EM算法Expectation-maximization algorithm 要求解的MLE，由于其对数似然方程是一个三次多项式，就引入两个变量z1,z2后使得求解要变得容易。现在假设第一种结果可分成两部分，其发生的概率分别为 令z1和y1-z1分别表示落入这两部分的次数；再假设第三种结果分成两部分，其发生的概率分别为 令z2和y3-z2分别表示落入这两部分的次数。显然z1,z2是我们认为引入的，它是不可观测的，数据（y , z）为完全数据，而观测到的数据称之为不完全数据，此时完全数据的似然函数为： EM算法Expectation-maximization algorithm 其对数似然为： 如果（y,z）均已知，则上式很容易求得MLE，但遗憾的是我们知道y,不知道Z，但当y以及已知时， 于是分两步进行迭代求解，即E步，M步。 E步：在已有观测数据y以及第i步估计值θ=θ(i)的条件下，求基于完全数据的对数似然函数的期望（即把其中的与z有关的部分积分掉）：Q(θ |y,(i)）=Ezl(θ;y , z) EM算法Expectation-maximization algorithm M步：求Q （θ|y,(i)）关于θ 的最大值θ（i+1）,即找 θ（i+1）使得Q（θ（i+1）|y,θ(i)）=max Q（|y,θ(i)）这样就完成了由θ( i )到θ（i+1）的一次迭代。重复上式两个步骤，直至收敛即可得到的MLE。 对于本例，其E步为： EM算法Expectation-maximization algorithm 其M步即为上式两边关