K-means算法K-eans算法.doc

K-means 算法 K-means算法是硬 HYPERLINK /view/69222.htm \t _blank 聚类算法，是典型的基于原型的 HYPERLINK /view/633433.htm \t _blank 目标函数聚类方法的代表，它是数据点到原型的某种距离作为优化的目标函数，利用函数求极值的方法得到迭代运算的调整规则。K-means算法以 HYPERLINK /view/1615257.htm \t _blank 欧式距离作为相似度测度，它是求对应某一初始聚类中心向量V最优分类，使得评价指标J最小。算法采用 HYPERLINK /view/2135069.htm \t _blank 误差平方和准则函数作为聚类准则函数。 1.K-means 算法 K-means算法是很典型的基于距离的 HYPERLINK /view/31801.htm \t _blank 聚类算法，采用距离作为相似性的评价指标，即认为两个对象的距离越近，其相???度就越大。该算法认为簇是由距离靠近的对象组成的，因此把得到紧凑且独立的簇作为最终目标。 k个初始类聚类中心点的选取对聚类结果具有较大的影响，因为在该 HYPERLINK /view/7420.htm \t _blank 算法第一步中是随机的选取任意k个对象作为初始聚类的中心，初始地代表一个簇。该算法在每次迭代中对数据集中剩余的每个对象，根据其与各个簇中心的距离将每个对象重新赋给最近的簇。当考察完所有数据对象后，一次迭代运算完成，新的聚类中心被计算出来。如果在一次迭代前后，J的值没有发生变化，说明算法已经收敛。 2. 算法过程 1）从N个文档随机选取K个文档作为 HYPERLINK /view/139124.htm \t _blank 质心 2）对剩余的每个文档测量其到每个 HYPERLINK /view/139124.htm \t _blank 质心的距离，并把它归到最近的质心的类 3）重新计算已经得到的各个类的 HYPERLINK /view/139124.htm \t _blank 质心 4）迭代2～3步直至新的质心与原质心相等或小于指定阈值，算法结束 具体如下： 输入：k, data[n]; （1） 选择k个初始中心点，例如c[0]=data[0],…c[k-1]=data[k-1]； （2） 对于data[0]….data[n]，分别与c[0]…c[k-1]比较，假定与c[i]差值最少，就标记为i； （3） 对于所有标记为i点，重新计算c[i]={ 所有标记为i的data[j]之和}/标记为i的个数； （4） 重复(2)(3)，直到所有c[i]值的变化小于给定 HYPERLINK /view/409216.htm \t _blank 阈值。 3. 工作原理与处理流程 1）工作原理 输入：聚类个数k，以及包含 n个数据对象的数据库。 输出：满足方差最小标准的k个聚类。 2）处理流程 （1） 从 n个数据对象任意选择 k 个对象作为初始聚类中心； （2） 根据每个聚类对象的均值（中心对象），计算每个对象与这些中心对象的距离；并根据最小距离重新对相应对象进行划分； （3） 重新计算每个（有变化）聚类的均值（中心对象） （4） 循环（2）到（3）直到每个聚类不再发生变化为止 k-means 算法接受输入量 k ；然后将n个数据对象划分为 k个聚类以便使得所获得的聚类满足：同一聚类中的对象相似度较高；而不同聚类中的对象相似度较小。聚类相似度是利用各聚类中对象的 HYPERLINK /view/1052684.htm \t _blank 均值所获得一个“中心对象”（引力中心）来进行计算的。 工作过程k-means 算法的工作过程 说明如下：首先从n个数据对象任意选择 k 个对象作为初始聚类中心；而对于所剩下其它对象，则根据它们与这些聚类中心的相似度（距离），分别将它们分配给与其最相似的（聚类中心所代表的）聚类；然 后再计算每个所获新聚类的聚类中心（该聚类中所有对象的均值）；不断重复这一过程直到标准测度函数开始收敛为止。一般都采用均方差作为标准测度函数。k个聚类具有以下特点：各聚类本身尽可能的紧凑，而各聚类之间尽可能的分开。 3. 算法存在的问题 K均值聚类 K-means 算法的特点——采用两阶段反复循环过程算法，结束的条件是不再有数据元素被重新分配： 指定聚类 即指定数据到某一个聚类，使得它与这个聚类中心的距离比它到其它聚类中心的距离要近。 修改聚类中心 优点：本算法确定的K 个划分到达平方误差最小。当聚类是密集的，且类与类之间区别明显时，效果较好。对于处理大 HYPERLINK /view/26216