- 1、本文档共14页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
EM(最大期望算法)极大似然估计参考
EM(最大期望算法) Expectation-maximization algorithm 极大似然估计 EM算法 极大似然估计方法是一种参数估计方法 是已知某个随机样本满足某种概率分布,但是其中具体的参数不清楚,参数估计就是通过若干次试验,观察其结果,利用结果推出参数的大概值 原理:一个随机试验如果有若干个可能的 结果A,B,C,…。若在一次试验中,结果A出现,则一般认为试验条件对A出现有利,也即A出现的概率很大 思想:已知某个参数能使这个样本出现的概率最大,我们当然不会再去选择其他小概率的样本,所以干脆就把这个参数作为估计的真实值 极大似然估计 极大似然估计 设总体X是离散型随机变量,其分布中含有未知参数θ,设x (x1,x2.....xn)是取自总体X的一个样本,(x1,x2.....xn)是其观察值。则取到这组样本观察值的概率是: 定义似然函数为: 这里x1,x2.....xn是观测值,且独立同分布,L(θ)看做参数θ的函数,它可作为θ已多大可能性产生样本值X1,X2,....Xn的一种度量 极大似然估计 最大似然估计法就是使用L(θ)达到最大值的 去估计θ 称 为θ的最大似然估计值。而相应的统计量θ(X1,X2,....Xn)称为θ的最大似然估计量。 同理,设总体X是连续型随机变量,密度函数为f(x;θ),其中θ为未知参数,则定义似然函数为: 极大似然估计 上式,其中x1,x2.....xn是样本观察值, 称 为θ的最大似然估计值。而相应的统计量θ(X1,X2,....Xn)称为θ的最大似然估计量。 求最大似然函数估计值的一般步骤 1写出似然函数L(θ) 2对似然函数取对数,并整理lnL(θ) 3求导数令导数为0,得到似然方程 4解似然方程,得到的参数即为所求 极大似然估计 EM算法Expectation-maximization algorithm EM算法是一种基于模型的聚类算法,假设样本分布符合高斯混合模型,算法目的是确定各个高斯部件的参数,充分拟合给定数据,并得到一个模糊聚类,即每个样本以不同概率属于每个高斯分布,概率数值将由以上各个参数计算得到, EM算法广泛地应用于拟合数据缺损的混合分布。 在求最大似然估计(MLE)时,当分布中有多余参数或数据为截尾或缺失,其MLE的求取是比较困难的,于是提出EM算法,其出发点是把求极大似然估计的过程分两步走,第一步求期望即E,以便把多余的部分去掉。第二步求极大值即M。 EM算法Expectation-maximization algorithm 设一次实验可能有四个结果,其发生的概率分别为 其中θ €(0,1) ,现进行了197次试验,四种结果的发生次数分别为75,18,70,34,求MLE(极大似然估计) 解:以y1,y2,y3,y4表示四种类结果发生的次数,此时总体分布为多项分布,故其似然函数: EM算法Expectation-maximization algorithm 要求解的MLE,由于其对数似然方程是一个三次多项式,就引入两个变量z1,z2后使得求解要变得容易。现在假设第一种结果可分成两部分,其发生的概率分别为 令z1和y1-z1分别表示落入这两部分的次数;再假设第三种结果分成两部分,其发生的概率分别为 令z2和y3-z2分别表示落入这两部分的次数。显然z1,z2是我们认为引入的,它是不可观测的,数据(y , z)为完全数据,而观测到的数据称之为不完全数据,此时完全数据的似然函数为: EM算法Expectation-maximization algorithm 其对数似然为: 如果(y,z)均已知,则上式很容易求得MLE,但遗憾的是我们知道y,不知道Z,但当y以及已知时, 于是分两步进行迭代求解,即E步,M步。 E步:在已有观测数据y以及第i步估计值θ=θ(i)的条件下,求基于完全数据的对数似然函数的期望(即把其中的与z有关的部分积分掉):Q(θ |y,(i))=Ezl(θ;y , z) EM算法Expectation-maximization algorithm M步:求Q (θ|y,(i))关于θ 的最大值θ(i+1),即找 θ(i+1)使得Q(θ(i+1)|y,θ(i))=max Q(|y,θ(i))这样就完成了由θ( i )到θ(i+1)的一次迭代。重复上式两个步骤,直至收敛即可得到的MLE。 对于本例,其E步为: EM算法Expectation-maximization algorithm 其M步即为上式两边关
您可能关注的文档
- Creating Marketing Strategies for Customer-Centric Organizations参考.ppt
- Customer-Driven Marketing Strategy Creating Value for Target Customers参考.ppt
- Current Asset Management参考.ppt
- C栋施工电梯施工方案参考.doc
- D-Link构建萧山机场无线网络解决方案参考.doc
- Cost of Capital参考.ppt
- Configuring BGP Route Filtering参考.ppt
- D2P快速原型开发系统技术协议参考.doc
- DB33 385.1-2002 无公害青虾 第1部分:池塘养殖技术规范参考.doc
- Data Dictionary Contents and Usage参考.ppt
- 服务员管理制度.pdf
- 汽车车身市场分析报告.pdf
- 施工安全管理报告范文模板.pdf
- 论个人信息权的法律保护以个人信息权与隐私权的界分为中心.pdf
- 装修装饰市场分析报告.pdf
- 智研咨询发布:2023年中国卤制品行业市场发展环境及前景研究报告.pdf
- 男生女生肢体语言的区别英语作文2701.pdf
- Unit 6 I'm going to study computer science. be going to结构、疑问副词(精讲课件)-八年级英语上册单元语法精讲精练(人教版).pptx
- 第7课近代科学与文化(课件)-九年级历史下册同步教学课件(统编版).pptx
- 第10课《凡尔赛条约》和《九国公约》(课件)-九年级历史下册同步精品课件(统编版).pptx
文档评论(0)