人工神经网络-SVM-深度学习简介选编.pptx

神经网络及SVM简介; 以冯·诺依曼型计算机为中心的信息处理技术的高速发展，使得计算机在当今的信息化社会中起着十分重要的作用。但是，当用它来解决某些人工智能问题时却遇到了很大的困难。 例如，一个人可以很容易地识别他人的脸孔，但计算机则很难做到这一点。 大脑是由生物神经元构成的巨型网络，它在本质上不同于计算机，是一种大规模的并行处理系统，它具有学习、联想记忆、综合等能力，并有巧妙的信息处理方法。 人工神经网络来源于对人脑实际神经网络的模拟;人脑和CPU;神经细胞利用电-化学过程交换信号。输入信号来自另一些神经细胞。这些神经细胞的轴突末梢（也就是终端）和本神经细胞的树突相遇形成突触（synapse），信号就从树突上的突触进入本细胞。信号在大脑中实际怎样传输是一个相当复杂的过程，但就我们而言，重要的是把它看成和现代的计算机一样，利用一系列的0和1来进行操作。就是说，大脑的神经细胞也只有两种状态：兴奋（fire）和不兴奋（即抑制）。发射信号的强度不变，变化的仅仅是频率。神经细胞利用一种我们还不知道的方法,把所有从树突上突触进来的信号进行相加，如果全部信号的总和超过某个阀值，就会激发神经细胞进入兴奋（fire）状态，这时就会有一个电信号通过轴突发送出去给其他神经细胞。如果信号总和没有达到阀值，神经细胞就不会兴奋起来。;人脑和CPU;人脑和CPU;人脑的特点;人工神经网络; 人工神经网络（Artificial Neural Netwroks，简称ANN）是对人类大脑系统的一种仿真，简单地讲，它是一个数学模型，可以用电子线路来实现，也可以用计算机程序来模拟，是人工智能研究的一种方法。 实际上它是由大量的、功能比较简单的形式神经元互相连接而构成的复杂网络系统，用它可以模拟大脑的许多基本功能和简单的思维方式。尽管它还不是大脑的完美元缺的模型，但它可以通过学习来获取外部的知识并存贮在网络内，可以解决计算机不易处理的难题，特别是语音和图像的识别、理解、知识的处理、组合优化计算和智能控制等一系列本质上是非计算的问题。 ; 1943年,美国心理学家W.McCulloch和数学家W.Pitts在提出了一个简单的神经元模型，即MP模型。1958年，F.Rosenblatt等研制出了感知机(Perceptron）。;学习的类型;人工神经网络;人工神经网络;人工神经网络;BP神经网络;BP神经网络计算;BP神经网络;学习规则;学习规则; 一般认为，增加隐层数可以降低网络误差（也有文献认为不一定能有效降低），提高精度，但也使网络复杂化，从而增加了网络的训练时间和出现“过拟合”现象。 Hornik等早已证明：若输入层和输出层采用线性转换函数，隐层采用Sigmoid转换函数，则含一个隐层的MLP网络能够以任意精度逼近任何有理函数。显然，这是一个存在性结论。在设计BP网络时可参考这一点，应优先考虑3层BP网络（即有1个隐层）。 一般地，靠增加隐层节点数来获得较低的误差，其训练效果要比增加隐层数更容易实现。; 隐层节点数;应用实例;net = newff ( A, B, {C}, ’trainfun’ );函数名;MATLAB中激励函数为; 除了需要输入A,B,{C},’trainfun’外，还有些默认的参数可 修改，如下表; [ net, tr, Y1, E ] = train ( net, X, Y ); 训练结束后，对新的输入点数据X2，调用sim函数进行泛 化，得出这些输入点处的输出矩阵Y2. ;例1 由下面的语句生成一组数据 x 和 y，用神经网络进 行数据拟合 x=0:.1:10; y=0.12*exp(-0.213*x)+0.54*exp(-0.17*x).*sin(1.23*x); 可知(x, y)是曲线 上的点。;实例. 蠓虫分类问题的神经网络方法（1989年MCM竞赛题目 ）;解法一：建立两层前向神经网络如下： ;以上神经网络模型的MATLAB程序如下： ;underfitting;SVM的理论基础;SVM;线性判别函数和判别面;最优分类面 ;分类超平面示意图 ;非线性变换;SVM方法的特点;SVM方法的特点;深度学习;浅层学习是机器学习的第一次浪潮 人工神经网络（BP算法） —虽被称作多层感知机，但实际是种只含有一层隐层节点的浅层模型 SVM、Boo