无监督学习与聚类.ppt

2维SOFM网络拓扑结构窗函数y*输入层竞争层第28页,共38页，星期六，2024年，5月SOFM学习算法begininitialize网络拓扑结构，权值，邻域Λ(0)，迭代次数T，学习率η(0)，t?0；归一化所有训练样本和权值；do随机选择样本x；计算胜元y*：调整权值：权值归一化：t?t+1；untilt=T 其中Λ(t)逐渐缩小范围，η(t)逐渐减小。第29页,共38页，星期六，2024年，5月10.6谱聚类谱聚类是一种新的聚类分析方法谱聚类通过求取核矩阵的特征值和特征矢量实现聚类。令：{x1,…,xn}为样本集合，?为输入空间到特征空间的映射，并且||?(x)||=1，k为相应的核函数。核矩阵K=[k(xi,xj)]n×n第30页,共38页，星期六，2024年，5月两类谱聚类计算核矩阵K；计算对应最大特征值的特征矢量y（n维）；通过一个阈值ε量化y，y中的元素大于ε的置为1，小于ε的置为0；对应0的样本为一个类别，对应1的样本为另一个类别。第31页,共38页，星期六，2024年，5月例10.1将19个样本分成2个聚类。 x1=(0,0)t,x2=(1,0)t,x3=(0,1)t,x4=(1,1)t, x5=(2,1)t,x6=(1,2)t,x7=(2,2)t,x8=(3,2)t, x9=(6,6)t,x10=(7,6)t,x11=(8,6)t,x12=(7,7)t, x13=(8,7)t,x14=(9,7)t,x15=(7,8)t,x16=(8,8)t, x17=(9,8)t,x18=(8,9)t,x19=(9,9)t第32页,共38页，星期六，2024年，5月核矩阵：第33页,共38页，星期六，2024年，5月特征值 最大特征值对应特征矢量第34页,共38页，星期六，2024年，5月聚类结果第35页,共38页，星期六，2024年，5月多类别谱聚类计算核矩阵K；计算K的特征值和特征矢量；观察特征值分布，确定聚类数m；利用对应前m个特征值的特征矢量确定样本的类别归属。第36页,共38页，星期六，2024年，5月例10.2多类别聚类(0,0),(0,1),(1,0),(1,1),(0,10),(0,11),(1,10),(1,11),(10,0),(10,1),(11,0),(11,1),(10,10),(10,11),(11,10),(11,11)第37页,共38页，星期六，2024年，5月特征值：最大4个特征值对应的特征矢量：第38页,共38页，星期六，2024年，5月*s1,t2可辨识t1,s2不可辨识*N=100,c=5,组合数超过1067*可以引入一定的结束合并准则，实现不设定最终聚类数c的算法。*胜者全取*当类别数c未知时，可以采用自适应共振网络，ART*E102.m，Matlab演示的是在原空间中权值的修正过程。模式识别–无监督学习与聚类模式识别–无监督学习与聚类模式识别–无监督学习与聚类模式识别–无监督学习与聚类无监督学习与聚类10.0监督学习与无监督学习监督学习与无监督学习的最大区别在于训练样本是否有类别标号，无类别标号的称为无监督学习；监督学习与无监督学习也被称为有教师学习与无教师学习。第2页,共38页，星期六，2024年，5月10.1混合密度及可辨识性从理论上讲，无监督学习可以看作是一个混合密度的估计问题：所有样本都来自于c种类别，c已知；每种类别的先验概率已知；类条件概率的数学形式已知，但参数未知；样本类别未被标记。第3页,共38页，星期六，2024年，5月混合密度样本可以看作是按如下方式产生的：先以概率决定其所属类别，然后根据概率密度生成一个具体的样本x。因此x样本的产生概率为：第4页,共38页，星期六，2024年，5月可辨识性不可辨识：如果无论样本的数目有多少，都不存在唯一的解，则称密度是不可辨识的；完全不可辨识：如果参数的任何部分都无法求出，则称为完全不可辨识；大多数的混合密度是可以辨识的，但也存在某