数据挖掘-分类方法.pptVIP

第四章分类方法卢梦雅；潘小刚；吕琪；潘蒙

第1节分类的根本概念

分类的根本概念分类的目的：学会一个分类函数或分类模型，也称之为分类器，该模型能把数据库中的数据项映射到给定类别中的某一个类别。分类的作用：可用于预测，预测的目的是从历史数据记录中自动推导出给定数据的推广描述，从而能对未来的数据进行类预测。分类的输出时离散的类别值。分类的应用：医疗诊断、信用卡系统的信用分级、图像模式识别等。

分类的根本概念分类也成为有监督学习，与之相对应的是无监督学习，比方聚类。分类和聚类的最大区别在于，分类数据中的一局部的类别是的，而聚类数据的类别是位置的。建立分类模型需要学习一局部数据，如果训练的时间过长，或者预测模型参数太多而样本较少，那么导致过度训练。分类器的构造方法很广泛：统计方法：包括贝叶斯法、非参数法等；机器学习方法：包括决策树法、规那么归纳法；决策树法对应的是决策树或者判别树，规那么归纳法那么有决策表和产生式规那么等；神经网络方法：主要是BP算法；

分类的根本概念从主要技术上看，分类方法主要有：〔1〕基于距离的分类方法；〔2〕决策树分类方法；〔3〕贝叶斯分类方法；〔4〕规那么归纳法；

第2节分类的步骤

分类的根本概念例如

分类的根本概念从上述例子看出，我们可以把分类看做是从数据库到一组类别的映射，其中类别是被预先定义的，并且是非交叠的。数据库的每一个元祖被精确地分配到一个类别中。解决分类问题的关键是构造一个适宜的分类器：从数据库到一组类别集的映射，一般情况下，这些类是被预先定义的、非交叠的。如何构建分类器？分类器的目的：分析输入的数据，通过在训练集中的数据表现出来的特性，为每一个类找到一种准确的描述或类型。

分类的根本概念Step1：建立一个模型，描述预定的数据类集或概念集。即通过分析由属性描述的数据库元祖来构造模型；〔1〕数据元祖，也称为样本、实例或对象；〔2〕为建立模型而被分析的数据元祖形成训练数据集；〔3〕训练数据集中的单个元祖称为训练样本，由于提供了每个训练样本的类标号，因此也称为有指导的学习；〔4〕通过分析训练数据集来构造分类模型，可用分类规那么、决策树或数学公式等形式提供；Step2：使用模型进行分类：〔1〕评估模型〔分类法〕的预测准确率；〔2〕如果模型的准确率是可以接受的，那么可以用它对类标号未知的数据元祖或对象进行分类；

分类的根本概念训练

分类的根本概念使用

第3节基于距离的分类算法

基于距离的分类算法在实际的计算中，往往距离越近，相似性越大，距离越远，相似性越小；距离的计算方法有很多，最为常用的是通过计算每个类的中心类进行；

基于距离的分类算法基于距离的分类算法：输入：每个类的中心；待分类的元祖t。输出：输出类别c。Dist=∞；//距离的初始化；Fori=1tomDOIfdis(c,t)distthenbeginc=IDist-dist(ci,t);End;上述算法，通过每个元祖和每个类的中心来比较，从而可以找出它的最近的类的中心，从而得到确定的类别标记。

基于距离的分类算法基于距离的分类：

基于距离的分类算法在现实生活中，经常采用一种基于距离的分类算法：k-最临近方法〔KNN〕：通过计算每个训练数据到待分类元祖的距离，取和待分类元祖距离，取和待分类元祖距离最近的k个训练数据，k个数据中哪个类别的训练数据占多数，那么待分类元祖就属于哪个类别；kNN对一个数据元素进行分类时，是通过它和训练集的每一个元组进行相似度计算和比较完成的。因此，如果对n个未知元素进行分类的话，复杂度为O〔nq〕，鉴于训练数据集容量是常熟，复杂度看组是O〔n〕

基于距离的分类算法例：采用最邻近方法对元组Pat，女，1.6进行分类K=5；

基于距离的分类算法例：采用最邻近方法对元组Pat，女，1.6进行分类K=5；第6个记录替代第2个

基于距离的分类算法例：采用最邻近方法对元组Pat，女，1.6进行分类K=5；第7个记录替代第3个

基于距离的分类算法例：采用最邻近方法对元组Pat，女，1.6进行分类K=5；第8个记录替代第2个

基于距离的分类算法例：采用最邻近方法对元组Pat，女，1.6进行分类K=5；第11个记录替代第4个

基于距离的分类算法例：采用最邻近方法对元组Pat，女，1.6进行分类K=5；第15个记录替代第4个.在这五项中，四个属于矮个，一个属于中等，最终k-最邻近算法认为