机器学习基础教程配套教材课件完整版电子教案.pptx

机器学习基础教程 452页完整版课件 正版可修改PPT;第一章 绪 论 机器学习（Machine Learning）是近年来非常引人注目学科，相关的新闻报道和消息快餐经常会出现在各种媒体上。 在十八世纪工业革命时期的机器主要是在体力上代替人力进行工作，将人们从手工业的劳作中解放出来。那种机器确实很难让人们觉得机器能够“学习”！但是时代在不断的发展，从那时起发展到21世纪的今天，各种技术的进步几乎让每个时代的人们都感到应接不暇，“机器”这个词的内涵和外延也发生了很多变化。;1.1机器学习发展简史与概况 谈到机器学习就不可能绕开人工智能，但是对于人工智能的发展历史却不那么容易界定。这主要是对于“智能”的理解不同。很多人将人工智能与工程控制理论结合起来，这样的话智能机器的历史甚至可以追溯到两千多年前。例如在古代中国出现的指南车和记里鼓车都可以算作智能机器。; 在1956年夏，美国学者麦卡锡（John McCarthy：1927~2011）、明斯基（Marvin Lee Minsky?：1927 ~2016）、纽厄尔（Allen Newell?：1927~1992）、司马贺（Herbert Alexander Simon：1916?~2001）聚集在达特茅茨一起讨论关于信息处理的学术问题。在这次会议上首次提出了“人工智能”这一术语，一般认为这就是人工智能和机器学习的起源。 ; 在此后的将近10年时间，也就是到上世纪60年代中叶，机器学习的主要领域集中在知识的学习方面，研究的主题是系统的执行能力。 虽然在20世纪40年代末已经出现了“Hebbian学习规则”。但是这种学习机制在处理有标签的学习问题时存在较大缺陷，因此限制了其使用范围。在1958年，Rosenblatt提出了线性感知机模型，通过不断地进行迭代解决了线性可分问题。 从20世纪60年代中叶到70年代中叶，人们逐渐发现了线性感知机所存在的问题。由于在机器学习过程中需要处理较大数量的数据，而当时计算机的计算速度和存储容量都不能满足需要，使得神经网络的研究受到了冷落。;1.2 机器学习的研究与应用现状 在机器学习领域始终存在这两种方向、两大派别。一种是以传统统计学作为其坚实的基础，并在此基础上不断进行改进和发展，例如统计学习理论和由此而发展出的支持向量机方法；而另一种则是仿生智能，他们声称受到了生物智能或神经科学的启发而得出了一系列智能方法，例如遗传算法、神经网络等。 传统统计学对于机器学习方面的基础贡献主要来源于传统统计学中多元统计分析。多元统计分析是对于标量数据统计的扩展。多元统计分析方法建立在严密的数学推理基础上，对于数据样本的分析给出了详尽的分析过程和不容辩驳的结果。 ;“贝叶斯派”代表人物; 统计学习学派认为机器学习就是从给定的函数集 （其中 是参数）中，选择出能够最好地逼近训练器响应的函数。也就是要根据n个独立同分布的观测样本 在一组函数中 中求出一个最优函数 ，对训练器的响应进行估计并使其期望风险达到最小，即： 根据概率论中大数的定理，可用算术平均代替数据期望，于是可以用经验风险： ; 在1943年心理学家W.Mculloch与数理逻辑学家W.Pitts在对人的神经元反射进行研究后，提出了神经元的基本数学模型，这种模型被称为MP模型，如图1.7所示。MP模型可以通过一个带参函数f(x,w)来实现对一些线性分类问题的处理。虽然其参数w（权重）一般由人为设定，看上去没有那么“智能”，但这种模型确实开启了神经网络学习模式的新时代。 在20世纪50年代末，F.Rosenblatt将单个的神经元网络模型发展成为多层感知机。这时候这个模型就有了其非常冠冕和正式的名字“神经网络”！;Warren Sturgis McCulloch? Walter Harry Pitts, Jr.? Frank Rosenblatt （1898~1969） （1923?~1969） （1928~1971） 图1.6 神经网络方法主要代表人物 ;图1.7 生物神经元与神经元模型的对照; 到了1984年，一种带有反馈机制的新型神经网络Hopfield神经网络出现了。将控制论中的反馈机制引入神经网络既赋予了神经网络联想记忆的新功能，但也带来了稳定性的问题。反馈型神经网络中的稳定问题实质上与控制论中的稳定性问题没有本质的区别