大数据分析方法与应用 课件 第4章 聚类算法.pptx

大数据分析方法与应用第4章聚类算法

4.1聚类的原理目录CONTENTS4.2K-Means聚类4.3K最近邻算法4.4模糊C-均值算法第4章聚类算法

4.1聚类的原理聚类的原理聚类（Clustering）是指根据“物以类聚”的原理，将本身没有类别的样本聚集成不同的组，这样的一组数据对象的集合叫作簇。聚类算法是数据挖掘和机器学习领域中常见的技术之一，具有广泛的应用。聚类是按照某个特定标准（如距离）把一个数据集分割成不同的类或簇，使得同一个簇内的数据对象的相似性尽可能大，同时不在同一个簇中的数据对象的差异性也尽可能地大。也即聚类后同一类的数据尽可能聚集到一起，不同类数据尽量分离。在分类（Classification）中，对于目标数据库中存在哪些类是知道的，要做的就是将每一条记录分别属于哪一类标记出来。

4.1聚类的原理聚类的原理聚类的一般过程01数据特征标准化和降维数据准备03通过对选择的特征进行转换形成新的突出特征特征提取02特征选择04基于某种距离函数进行相似度度量，获取簇聚类05分析聚类结果，如距离误差等聚类结果评估从最初的特征中选择最有效的特征，并将其存储在向量中

4.2K-Means聚类K-Means聚类4.2.1K-Means聚类算法的原理K-Means算法步骤为每个聚类确定一个初始聚类中心，这样就有k个初始聚类中心将样本集中的样本按照最小距离原则分配到最近邻聚类使用每个聚类中的样本均值作为新的聚类中心结束得到k个聚类重复步骤2和3直到聚类中心不再变化输入输出簇的数目k和包含n个对象的数据库k个簇，使平方误差准则最小

4.2K-Means聚类K-Means聚类4.2.1K-Means聚类算法的原理K-Means聚类算法使用误差平方和准则函数来评价聚类性能。给定数据集X，其中只包含描述属性，不包含类别属性。假设X包含k个聚类子集X1,X2,…,Xk；各个聚类子集中的样本数量分别为n1,n2,…,nk；各个聚类子集的均值代表点（也称聚类中心）分别为m1,m2,…,mk。误差平方和准则函数公式为：

4.2K-Means聚类K-Means聚类4.2.1K-Means聚类算法的原理数据对象集合S如下表所示，作为一个聚类分析的二维样本，要求的簇的数量k=2O12345x001.555y20002数据对象集合S1）选择O1(0,2)，O2(0,0)为初始的簇中心，即M1=O1=(0,2)，M2=O2=(0,0)

4.2K-Means聚类K-Means聚类4.2.1K-Means聚类算法的原理2）对剩余的每个对象，根据其与各个簇中心的距离，将它赋给最近的簇a. 对于O3：；；因为d(M1,O3)≥d(M2,O3)，故将O3分配给C2。b. 对于O4：；因为d(M1,O4)≥d(M2,O4)，故将O4分配给C2。c. 对于O5：；因为d(M1,O5)≤d(M2,O5)，故将O5分配给C1。综上，得到新簇C1={O1,O5}，中心为M1=O1=(0,2)；C2={O2,O3,O4}，中心为M2=O2=(0,0)。计算平方误差准则，单个方差为：E1=[(0-0)2+(2-2)2]+[(0-5)2+(2-2)2]=25；E2=[(0-0)2+(0-0)2]+[(0-1.5)2+(0-0)2]+[(0-5)2+(0-0)2]=27.25。总体平均方差是：E=E1+E2=25+27.25=52.25

4.2K-Means聚类K-Means聚类4.2.1K-Means聚类算法的原理M1=((0+5)/2,(2+2)/2)=(2.5,2)；M2=((0+1.5+5)/3,(0+0+0+0)/3)=(2.17,0)重复2和