数据挖掘 课件 第五章 分类与回归预测算法.ppt

训练集类别:Y1:‘通过’;Y2:‘未通过’数据样本:X=(年龄=中年，教育层次=本科，是否有房=有房，收入=27976)朴素贝叶斯分类:一个例子朴素贝叶斯分类器：评论优势易于实现在大多数情况下能都获得较好的分类准确率劣势类条件独立性假设实际上，变量之间存在依赖关系，例如，医院：患者；档案：年龄、家族史；症状：发热、咳嗽等；疾病：肺癌、癌症、糖尿病等这些之间的依赖关系不能用朴素贝叶斯分类器建模如何处理属性之间的依赖关系呢?贝叶斯信念网络贝叶斯信念网络贝叶斯信念网络允许在变量子集之间定义类条件独立性一种提供因果关系的图模型表示变量之间的依赖关系确定联合概率分布YZPX结点:随机变量边：依赖关系X，Y是Z的双亲,且Y是P的双亲Z和P之间没有依赖关系无环Contents0102030405060708基本概念决策树贝叶斯分类支持向量机神经网络和文本分类算法线性回归和非线性回归逻辑回归性能评估指标08模型调优*SVM—支持向量机描述：支持向量机（SVM）是一种卓越的二分类监督学习模型，其主要目标是在特征空间中寻找一个最优超平面，以此超平面最大化不同类别数据之间的间隔，从而实现优越的分类效果和泛化能力一种新的针对线性和非线性数据的分类方法*数据线性可分的情况数据集D表示(X1,y1),…,(X|D|,y|D|),其中Xi对应类标签yi有无限条线（超平面）将这两个类分开，但想找到最好的一个（最大限度地减少看不见数据的分类误差的一个）*线性支持向量机二维空间中的线性可分数据:几何间隔一个样本点到决策边界的距离支持向量几何间隔最大时的两个异类样本间隔这些支持向量到超平面的距离之和*线性支持向量机支持向量小间隔大间隔*线性支持向量机求解分离超平面H分离超平面“侧面”的超平面联立两个不等式，得到：接下来需要使用拉格朗日乘子进行候选求解*非线性支持向量机动机：在实际应用中，经常遇到的数据集特征关系复杂，远超过简单线性关系所能描述的范围，可以将线性SVM扩展为非线性SVM实现步骤：1.通过非线性映射原始数据转换到一个更高维的特征空间2.在这个新的空间中数据变成线性可分，使用线性支持向量机进行分类*一个例子*核技巧及常见核函数Contents0102030405060708基本概念决策树贝叶斯分类支持向量机神经网络和文本分类算法线性回归和非线性回归逻辑回归性能评估指标08模型调优神经网络人工神经网络的设计灵感源自于对生物神经系统的深入模拟当神经元接受到外界刺激时，会沿着轴突传导电信号，实现从一个神经元到另一个神经元的信号转移。神经元的细胞体通过树突与其他神经元的轴突相连，而这些连接点被称为神经突触。1959年，FrankRosenblatt首次提出感知器，感知器学习规则通过逐步改变权重以学习产生目标输出，为具有固定输入的单个神经元训练目标输出值单层感知机单层感知机数学表达式：原理：通过输入和权重的标量乘积，并结合一个非线性函数映射，目标是将n维输入向量x映射到输出到1维变量y上单层感知机参数更新算法反向传播技术：迭代调整权重w和偏置项t以最小化分类错误数学表达式：终止条件：1.到达预设的迭代次数上限；2.满足误差阈值;3.在连续几轮迭代中误差变化极小或者达到一个非常低的特定值更新算法的最终目标得到一组权重w和偏置项t，使得训练集中的元组分类误差尽可能小训练过程随机初始化权重和偏置项将训练集中的元组逐个输入给感知机模型中，对于每个输入元祖计算预测结果和分类误差基于参数更新公式更新权重和偏置项多层感知机单个感知器仅能表示线性决策面，多层感知机能够表示种类繁多的非线性曲面来作为非线性决策面多层感知机引入更多种类激活函数，使得模型可以逼近任何非线性函数输入层隐藏层输出层…激活函数a）ReLU激活函数b）tanh激活函数激活函数需要具备以下几点性质:连续并可导（允许少数点上不可导）的非线性函数激活函数的导数值域应适中，避免过大或过小，以免影响训练的效率和稳定性激活函数及其导数应尽可能简单，以提高网络的计算效率文本分类算法文本分类是数据挖掘和自然语言处理领域的一项基本任务，它涉及将文本文档分类到一个或多个预定义的类别中。文本表示方法One-Hot编码：假设词汇表为{cat,dog,bird,f