网站大量收购闲置独家精品文档,联系QQ:2885784924

k-means与高斯混合模型.ppt

  1. 1、本文档共17页,可阅读全部内容。
  2. 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
k-means与高斯混合模型.ppt

K-MEANS与 高斯混合模型 李翔 2013年7月15日 K-means算法,也被称为K-均值,是一种得到最广泛使 用的聚类算法。它是将各个聚类内的所有数据样本的均值作为该聚类的代表点,算法的主要思想是通过迭代过程把数据划分为不同的类别,使得评价聚类性能的准则函数能达到最优,从而使生成的每个聚类内紧凑,类间独立。 K-MEANS算法流程 从样本选K个对象作为初始聚类的中心 根据样本与聚类中心的相异度判断每个样本属于哪个簇 每个簇中重新计算聚类中心 重复2、3步骤直到聚类不再变化 标量: 闵可夫斯基距离: 曼哈顿距离: 欧几里得距离: 对于每个样本,计算出它与每个样本中心的距离,距离最小的样本中心则视为相异度最低,则该样本属于该样本中心对应的簇,从而可以计算出每个样本都属于哪个簇。 根据样本与聚类中心的相异度判断每个 样本属于哪个簇 二元变量: 取值不同的同位属性数/单个元素的属性位数 二元变量是只能取0和1两种值变量,例如X={1,0,0,0,1,0,1,1},Y={0,0,0,1,1,1,1,1},可以看到,两个元素第2、3、5、7和8个属性取值相同,而第1、4和6个取值不同,那么相异度可以标识为3/8=0.375 向量: (相似度) 在每个簇中重新计算聚类中心: 将同一个簇的样本的每个属性求平均值,从而计算出每个簇的聚类中心。此处可以生成新的K个聚类中心,用于下次计算样本属于的类别。 例如:簇中有点(1,2,3) (4,5,6)。聚类中心就为(2.5,3.5,4.5) 每个簇中重新计算聚类中心 要点: 1、初始聚类中心的选取 这个过程大多数情况下采用随机选取的办法。因为k-means 并不能保证全局最优,是否能收敛到全局最优解其实和初值的选取有很大的关系,所以有时候我们会多次选取初值跑 k-means ,并取其中最好的一次结果 K-means-test演示 采用基于距离和的孤立点定义来进行孤立点的预先筛选 不可预知孤立点就进行最远距离法 首先整理移除孤立点后的数据集U,记录数据个数y,令m=1。比较数据集中所有数据对象两两之间的距离。找出距离最近的2个数据对象形成集合Am;比较Am中每一个数据对象与数据对象集合U中每一个对象的距离,在U中找出与Am 中最近的数据对象,优先吸收到Am 中,直到Am 中的数据对象个数到达一定数值,然后令m=m+1。再从U中找到对象两两间距离最近的2个数据对象构成Am,重复上面的过程,直到形成k个对象集合。这些集合内部的数据是相似的,而集合间是相异的。 可以看出,这种聚类方法同时满足以下2个条件:①每个组至少包含一个数据对象; ②每个数据对象必须属于且仅属于一个组。即数据对象Xi ∈Ai ,且U={{A1 ∪A2 ∪…∪Ak} ∪A0} ,且Ai ∩Aj =Φ。最后对k个对象集合分别进行算术平均,形成k个初始聚类中心。 KNN算法等等 摘自wiki百科 迭代终止条件 1、 重复迭代直到聚类中心不再变化或者变化很小 准则函数: 每一个样本点到其聚类中心点的平方和,K-MEANS要将J函数调整到最小。当J函数前后相差小于一个阈值的时候即可以终止迭代。 若单一定义让聚类中心不再变化则停止迭代,可能会存在问题。因为某一点不一定百分之百属于某个聚类。 演示K-MEANS-TEST2 2、达到迭代最大步数 Opencv的函数cvKMeans2中变量CvTermCriteria可设置两个迭代终止条件 高斯混合模型GMM(Gaussian Mixture Model) 可以看出K-MEANS是简单的,因为它基于假设即一

文档评论(0)

5566www + 关注
实名认证
内容提供者

该用户很懒,什么也没介绍

版权声明书
用户编号:6122115144000002

1亿VIP精品文档

相关文档