K-means聚类实验——【机器学习与算法分析】.pdfVIP

K-means聚类实验——【机器学习与算法分析】--第1页

旗开得胜

实验算法K-means聚类实验

【实验名称】

K-means聚类实验

【实验要求】

掌握K-means模型应用过程，根据模型要求进行数据预处理，建模，评价与应用；

【背景描述】

聚类算法是一种典型的无监督学习算法，在聚类算法中根据样本之间的相似性，将样本划分到

不同的类别中，对于不同的相似度计算方法，会得到不同的聚类结果，常用的相似度计算方法有欧

式距离法。

【知识准备】

了解K-means模型的使用场景，数据标准。了解Python/Spark数据处理一般方法。了解spark

模型调用，训练以及应用方法

【实验设备】

Windows或Linux操作系统的计算机。部署Spark，Python，本实验提供centos6.8环境。

【实验说明】

采用UCI机器学习库中的wine数据集作为算法数据，除去原来的类别号，把数据看做没有类

别的样本，训练K-means模型，对样本进行聚类。

【实验环境】

Spark2.3.1，Pyrhon3.X，实验在命令行pyspark中进行，或者把代码写在py脚本，由于本

次为实验，以学习模型为主，所以在命令行中逐步执行代码，以便更加清晰地了解整个建模流程。

【实验步骤】

第一步：启动pyspark：

命令行中键入pyspark--masterlocal[4],本地模式启动spark与python：

1

读万卷书行万里路

K-means聚类实验——【机器学习与算法分析】--第1页

K-means聚类实验——【机器学习与算法分析】--第2页

旗开得胜

第二步：导入用到的包，并读取数据：

(1).导入所需的包

frompysparkimportSparkContext,SQLContext,SparkConf

frommathimportsqrt

(2).读取数据源,数据源地址为:/opt/algorithm/kmeans/wine.txt

(3).数据转换为DataFrame

df_wine_rdd=sqlContext.createDataFrame(df_wine)

(4).展示数据

df_wine_rdd.show()

2

读万卷书行万里路

K-means聚类实验——【机器学习与算法分析】--第2页

K-means聚类实验——【机器学习与算法分析】--第3页

旗开得胜

第三步：数据预处理

(1).去掉类别标号那一类

(2).构建向量

importpyspark.ml.featureasml_feature

cols=df_wine_rdd.columns

wine_Vc=vectorAssembler.transform(df_w