大数据挖掘导论与案例课件-第5章 分类概念与方法.pptx

;第5章分类概念与方法;学习目标/Target;学习目标/Target;引言/Introduction;目录/Contents;目录/Contents;分类的基本概念;5.1分类的基本概念;5.1分类的基本概念;分类的一般方法;5.2分类的一般方法;5.2分类的一般方法;决策树归纳;5.3决策树归纳;5.3决策树归纳;5.3.1决策树归纳的基本原理;5.3.1决策树归纳的基本原理;5.3.2属性划分的度量;5.3.2属性划分的度量;5.3.2属性划分的度量;5.3.2属性划分的度量;5.3.2属性划分的度量;5.3.3树剪枝;5.3.3树剪枝;5.3.3树剪枝;5.3.3树剪枝;5.3.3树剪枝;5.3.4决策树归纳算法;5.3.4决策树归纳算法;5.3.4决策树归纳算法;5.3.4决策树归纳算法;5.3.4决策树归纳算法;5.3.4决策树归纳算法;5.3.4决策树归纳算法;5.3.4决策树归纳算法;5.3.4决策树归纳算法;5.3.4决策树归纳算法;5.3.4决策树归纳算法;5.3.4决策树归纳算法;5.3.4决策树归纳算法;5.3.4决策树归纳算法;5.3.4决策树归纳算法;5.3.5决策树归纳的一般特点;模型的评估与选择;5.4.1模型的过拟合;5.4.1模型的过拟合;5.4.1模型的过拟合;5.4.1模型的过拟合;5.4.1模型的过拟合;5.4.2模型的性能度量;5.4.2模型的性能度量;5.4.2模型的性能度量;5.4.2模型的性能度量;5.4.2模型的性能度量;5.4.1模型的过拟合;5.4.2模型的性能度量;5.4.2模型的性能度量;5.4.2模型的性能度量;5.4.2模型的性能度量;5.4.2模型的性能度量;5.4.3模型评估方法;5.4.3模型评估方法;5.4.3模型评估方法;5.4.4模型选择;5.4.4模型选择;5.4.4模型选择;5.4.4模型选择;基于规则的分类;5.5.1使用IF-THEN规则分类;5.5.1使用IF-THEN规则分类;5.5.2规则分类器的性质;5.5.2规则分类器的性质;5.5.3由决策树提取规则;5.5.3由决策树提取规则;5.5.4使用顺序覆盖算法归纳规则;5.5.4使用顺序覆盖算法归纳规则;5.5.4使用顺序覆盖算法归纳规则;5.5.4使用顺序覆盖算法归纳规则;5.5.4使用顺序覆盖算法归纳规则;5.5.4使用顺序覆盖算法归纳规则;5.5.4使用顺序覆盖算法归纳规则;最近邻分类器;5.6.1K-最近邻分类器;5.6.1K-最近邻分类器;5.6.2K-最近邻分类器的特点;贝叶斯分类器;5.7贝叶斯分类器;5.7.1贝叶斯定理;5.7.2朴素贝叶斯分类器;5.7.2朴素贝叶斯分类器;5.7.2朴素贝叶斯分类器;5.7.2朴素贝叶斯分类器;5.7.2朴素贝叶斯分类器;5.7.2朴素贝叶斯分类器的特征;;;;;;;;5.8.3人工神经网络的特点;支持向量机;1963年，VladimirVapnik就提出了支持向量的概念。1968年，VladimirVapnik和AlexeyChervonenkis提出了“VC维”理论，1974年又提出了结构风险最小化原则。在这些统计学习理论的基础上，1992年VladimirVapnik与他的同事发表了支持向量机的第一篇论文，1995年发表的文章与出版的书籍对支持向量机进行了更详细的讨论。随着支持向量机在文本分类问题上取得巨大成功，支持向量机很快成为机器学习的主流技术。

支持向量机（SupportVectorMachines,SVM）是一种二分类模型，模型利用定义在特征空间中的线性或非线性决策边界来分类，用来分离类。其学习策略是间隔最大化，即选择更好地隔离两个类的超平面作为决策边界。SVM的一个独特特点是它仅使用训练实例的一个子集表示决策边界，该子集被称作支持向量。

SVM的学习方法根据训练数据是否线性可分分为线性支持向量机和非线性支持向量机。;5.9.1线性可分SVM与硬间隔最大化;5.9.1线性可分SVM与硬间隔最大化;5.9.1线性可分SVM与硬间隔最大化;5.9.1线性可分SVM与硬间隔最大化;5.9.1线性可分SVM与硬间隔最大化;5.9.1线性可分SVM与硬间隔最大化;5.9.1线性可分SVM与硬间隔最大化;5.9.1线性可分SVM与硬间隔最大化