机器学习导学.pptx

机器学习的导学;目录;1 引言;;机器学习是一门多领域交叉学科;机器学习的一个形象描述; 目前在众多涉及计算机处理的技术应用中, 机器学习在许多领域都取得了很大的进步, 如用于人工智能、数据挖掘、自然语言处理、汉字识别、机器翻译、专家系统以及商业领域等。;学习系统; 机器学习的发展极为迅速,应用也亦日益广泛, 其中有很多优秀的机器学习算法。算法基本上可以分为基于有监督、无监督、半监督和强化学习这四大类。 ? ; 有监督学习; 有监督学习; 无监督学习;最近邻 ;;;R语言简介;;;最近邻算法 ;;朴素贝叶斯;决策树;决策树;;人工神经网络; 在神经网络中，因为缺乏问题的先验知识，往往需要经过大量费力费时的试验摸索才能确定合适的神经网络模型、算法以及参数设置，其应用效果完全取决于使用者的经验。基于此原因，于1990年，Hansen和Salamon开创性地提出了神经网络集成(Neural Network Ensemble) 方法。该技术来源于机器学习界目前极热门的Boosting 方法，也已成为当前研究的热点。 神经网络的另一大缺陷就是其典型的“黑箱性”，即训练好的神经网络学到的知识难以被人理解，神经网络集成又加深了这一缺陷。 神经网络是基于经验风险最小化原则的学习算法, 有一些固有的缺陷,比如层数和神经元个数难以确定, 容易陷入局部极小, 还有过学习现象, 这些本身的缺陷在SVM算法中可以得到很好的解决。; 支持向量机是Vapnik等人提出的一类新型的机器学习算法。 SVM算法的目的在于寻找一个超平面H(d)，该超平面可以将训练集中的数据分开，且与类域边界的沿垂直于该超平面方向的距离最大，故SVM法亦被称为最大边缘( Maximum Margin) 算法。所谓最优超平面就是要求超平面不但能将两类正确分开，而且使分类间隔最大；使分类间隔最大实际上就是对模型推广能力的控制，这正是SVM的核心思想所在。 总的来说,支持向量机就是首先通过用核函数 定义的非线性变换将输入空间变换到一个高维空间, 在这个空间中求( 广义) 最优分类面。SVMs分类函数形式上类似于一个神经网络,输出是中间节点的线性组合, 每个中间节点对应一个支持向量,如???所示。 选择不同的核函数就可以生成不同的支持向量机。常用的核包括: 多项式核、高斯(径向基函数) 核、二层神经网络核等。目前支持向量机的训练算法是以序贯最小最优化(SMO)为代表的，其中工作集的选择是实现SMO算法的关键。; 基于统计学习理论的支持向量机（SVM）方法，与传统的基于经验风险最小化原则的学习方法不同，SVM基于结构风险最小化，能在训练误差和分类器容量之间达到一个较好的平衡,它具有全局最优、适应性强、推广能力强等优点。但是直到目前为止,支持向量机方法还存在一些问题，例如训练时间过长、核参数的选择等，成为限制支持向量机应用的瓶颈。;机器学习算法的拓展;;遗传算法;遗传算法;集成学习;在分类时，采用投票的方式决定新样本属于哪一类。 ;集成学习构造;;机器学习的未来;1.《机器学习与R语言》Brett Lantz著，李洪成译。 2.《统计学习方法》李航著。 3.《Pattern Recognition and Machine Learning.》 Christopher M. Bishop著。 ;敬请大家批评指正 谢谢