人工智能实验三朴素贝叶斯分类实验.pdfVIP

人工智能实验三朴素贝叶斯分类实验--第1页 实验三：分类算法实验 智能1402 201408070221 李帅玲 目录 实验三：分类算法实验 1 一．实验目的 2 二．实验的硬件、软件平台 2 三．实验内容及步骤 2 四、思考题： 2 五．实验报告 3 （一）算法的基本原理 3 （二）实验框架与结果 5 1.汽车评估数据集 5 2.程序框架 6 3.实验结果 6 （三）实验分析和思考题 7 （四）实验源代码 8 人工智能实验三朴素贝叶斯分类实验--第1页 人工智能实验三朴素贝叶斯分类实验--第2页 一．实验目的 1.了解朴素贝叶斯算法和决策树算法的基本原理； 2.能够使用朴素贝叶斯算法或者决策树算法对数据进行分类 3.学会对于分类器的性能评估方法 二．实验的硬件、软件平台 硬件：计算机 软件：操作系统：WINDOWS 8.1 应用软件：Java 三．实验内容及步骤 （一）实验内容： 利用贝叶斯算法或者决策树算法进行数据分类操作 数据集：汽车评估数据集(见附录) （二）实验步骤： 1．仔细阅读并了解实验数据集； 2．使用任何一种熟悉的计算机语言(比如C,Java 或者 matlab)实现朴素贝叶斯算法或者决策树 算法； 3．利用朴素贝叶斯算法或者决策树算法在训练数据上学习分类器,训练数据的大小分别设置为： 前100个数据，前200个数据，前500个数据，前700个数据，前1000个数据，前1350个数据； 4．利用测试数据对学习的分类器进行性能评估； 5．统计分析实验结果并上交实验报告； 四、思考题： 1. 两种算法在训练数据集和测试数据集上的性能一致吗？哪个比较好？ 2. 提出一种提高分类器性能的方法并通过实验验证。 人工智能实验三朴素贝叶斯分类实验--第2页 人工智能实验三朴素贝叶斯分类实验--第3页 五．实验报告 （一）算法的基本原理 贝叶斯定理： 表示事件X 已经发生的前提下，事件Y 发生的概率，叫做事件X 发生下事件Y 的条件概率，其基本求解公式 为： 朴素贝叶斯分类器： 朴素贝叶斯的思想基础是这样的：对于给出的待分类项，求解在此项出现的条件下各个类别出现的概率，哪个最大， 就认为此待分类项属于哪个类别。 朴素贝叶斯分类的正式定义如下： 1、设 为一个待分类项，而每个a为x 的一个特征属性。 2、有类别集合 。 3、计算 。 4、如果 ，则 。 那么现在的关键就是如何计算第3步中的各个条件概率。我们可以这么做： 1、找到一个已知分类的待分类项集合，这个集合叫做训练样本集。 2、统计得到在各类别下各个特征属性的条件概率估计。即 人工智能实验三朴素贝叶斯分类实验--第3页 人工智能实验三朴素贝叶斯分类实验--第4页 3、如果各个特征属性是条件独立的，则根据贝叶斯定理有如下推导： 因为分母对于所有类别为常数，因为我们只要将分子最大化皆可。又因为各特征属性是条件独立的，所以有： 整个朴素贝叶斯分类分为三个阶段： 第一阶段: 准备工作阶段，这个阶段的任务是为朴素贝叶斯分类做必要的准备，主要工作是根据具体情况确 定特征属性，并对每个特征属性进行适当划分，然后由人工对一部分待分类项进行分类，形成训练样本集合。这一 阶段的输入是所有待分类数据，输出是特征属性和训练样本。这一阶段是整个朴素贝叶斯分类中唯一需要人工完成 的阶段，其质量对整个过程将有重要影响，分类器的质量很大程度上由特征属性、特征属性划分及训练样本质量决 定。 第二阶段: 分类器训练阶段，这个阶段的任务就是生成分类器，主要工作是计算每个类别在训练样本中的出 现频率及每个特征属性划分对每个类别的条件概率估计，并将结果