WEKA教程完整版.ppt

数据挖掘工具WEKA教程 广东外语外贸大学 杜剑峰 WEKA教程 WEKA简介 数据格式 数据准备 属性选择 可视化分析 分类预测 关联分析 聚类分析 扩展WEKA 1、WEKA简介 WEKA的全名是怀卡托智能分析环境（Waikato Environment for Knowledge Analysis），其源代码可从http://www.cs.waikato.ac.nz/ml/weka/得到。同时weka也是新西兰的一种鸟名，而WEKA的主要开发者来自新西兰。 2005年8月，在第11届ACM SIGKDD国际会议上，怀卡托大学的WEKA小组荣获了数据挖掘和知识探索领域的最高服务奖， WEKA系统得到了广泛的认可，被誉为数据挖掘和机器学习历史上的里程碑，是现今最完备的数据挖掘工具之一。 WEKA的每月下载次数已超过万次。 1、WEKA简介（续） 作为一个大众化的数据挖掘工作平台， WEKA集成了大量能承担数据挖掘任务的机器学习算法，包括对数据进行预处理、分类、回归、聚类、关联分析以及在新的交互式界面上的可视化等等。通过其接口，可在其基础上实现自己的数据挖掘算法。 WEKA的界面 2、数据格式 WEKA所用的数据格式（ 跟Excel一样） Explorer界面? Open file…? Edit… 2、数据格式（续） WEKA文件相关术语 表格里的一个横行称作一个实例（Instance），相当于统计学中的一个样本，或者数据库中的一条记录。竖行称作一个属性（Attribute），相当于统计学中的一个变量，或者数据库中的一个字段。这样一个表格，或者叫数据集，在WEKA看来，呈现了属性之间的一种关系(Relation)。上图中一共有14个实例，5个属性，关系名称为“weather”。 WEKA存储数据的格式是ARFF（Attribute-Relation File Format）文件，这是一种ASCII文本文件。上图所示的二维表格存储在如下的ARFF文件中。这也就是WEKA自带的“weather.arff”文件，在WEKA安装目录的“data”子目录下可以找到。 2、数据格式（续） 文件内容说明 识别ARFF文件的重要依据是分行，因此不能在这种文件里随意的断行。空行（或全是空格的行）将被忽略。 以“%”开始的行是注释，WEKA将忽略这些行。如果你看到的“weather.arff”文件多了或少了些“%”开始的行，是没有影响的。 除去注释后，整个ARFF文件可以分为两个部分。 第一部分给出了头信息（Head information），包括了对关系的声明和对属性的声明。 第二部分给出了数据信息（Data information），即数据集中给出的数据。从“@data”标记开始，后面的就是数据信息了。 2、数据格式（续） 关系声明 关系名称在ARFF文件的第一个有效行来定义，格式为 @relation relation-name relation-name是一个字符串。如果这个字符串包含空格，它必须加上引号（指英文标点的单引号或双引号）。 2、数据格式（续） 属性声明 属性声明用一列以“@attribute”开头的语句表示。数据集中的每一个属性都有它对应的“@attribute”语句，来定义它的属性名称和数据类型。 这些声明语句的顺序很重要。首先它表明了该项属性在数据部分的位置。例如，“humidity”是第三个被声明的属性，这说明数据部分那些被逗号分开的列中，第三列数据 85 90 86 96 ... 是相应的“humidity”值。其次，最后一个声明的属性被称作class属性，在分类或回归任务中，它是默认的目标变量。 属性声明的格式为 @attribute attribute-name datatype 其中attribute-name是必须以字母开头的字符串。和关系名称一样，如果这个字符串包含空格，它必须加上引号。 2、数据格式（续） WEKA支持的datatype有四种 numeric 数值型 nominal-specification 标称（nominal）型 string 字符串型 date [date-format] 日期和时间型 其中nominal-specification 和date-format 将在下面说明。还可以使用两个类型“integer”和“real”，但是WEKA把它们都当作“numeric”看待。注意“integer”，“real”，“numeric”，“date”，“string”这些关键字是区分大小写的，而“relation”、“attribute ”和“data”则不区分。 2、数据格式（续） 数值属性 数值型属性可以是整