数据挖掘实验八对比不同算法优劣.pdfVIP

数据挖掘实验八：对比不同算法优劣

嵌入式一班20157730143

一、数据预处理

1）通用数据处理

Pclass（几等舱）和survived（是否存活）在使用csv文件转换成arff文件时，默认类

型为numeric数据类型，应改为normal类型才可以实验。

将train和test中的ID等不需要的信息删去，并保存。探究发现ticket（票ID）和cabin

（所在舱的编号）对实际数据影响不大，应属于无用的信息。但应任务书要求，仍保留了下

来，仅在神经网络训练和NaïveBayes方法训练中移除了这两类信息。

ticket（票ID）和cabin（所在舱的编号）的对应属性应为string字符串类型，但实验中

发现，如果将其属性改为字符串类型，影响部分实验的进行，所以仍将其保留为normal类

型。

为保证ticket（票ID）和cabin（所在舱的编号）的normal类型具有全部数据，应在

实验前将二者合并，然后再分开成两个文件，以保证实验能够正常进行。

经处理，实验用的train文件和test文件的arff格式表头为：

2）特殊数据处理

在神经网络训练中，为了降低训练时间，删除了影响不大的ticket（票ID）和cabin（所

在舱的编号）属性。

在NaïveBayes方法训练中，要求训练数据和测试数据不能含有未知属性，因此移除

了除survived（是否存活）外，所有包含?（未知属性）的条目。并且将survived（是否存

活）的normal类型改为了numeric数据类型，其得到的结果为一个0-1之间的小数。

二、算法对比分析

1）决策树C4.5（J48）算法

C4.5算法的优点是：产生的分类规则易于理解，准确率高。

缺点是：

在构造过程中，需要对数据集进行多次的顺序扫描和排序，因而导致算法的低效；

C4.5算法只适合于能够驻留内存的数据集，当训练集大得无法在内存容纳时，程序无

法运行。

本次测试中，训练集正确率为77.4%。

2）关联规则Apriori算法

Apriori算法的缺点是：

在每一步产生项目集时循环产生的组合过多,没有排除不应该参与组合的元素;

每次计算项集的支持度时,都对数据库中的全部记录进行了一遍扫描比较,需要很大的

I/O负载。

3）k-means算法

k-means算法的优点是：该算法适用于对样本容量比较大的类域进行自动分类。

缺点是：

K值需要预先设定，而不能自适应；

当样本不平衡时，如一个类的样本容量很大，二其他类样本容量很小，有可能导致当输

入一个新样本时，该样本的K个邻居