应用篇-第13章-神经元网络及MATLAB实现.pptx

神经元网络模型是模拟人类实际神经网络，神经网络（Neural Networks,NN）是由大量的、简单的处理单元（称为神经元）广泛地互相连接而形成的复杂网络系统，它反映了人脑功能的许多基本特征，是一个高度复杂的非线性动力学习系统。神经网络具有大规模并行、分布式存储和处理、自组织、自适应和自学能力，特别适合处理需要同时考虑许多因素和条件的、不精确和模糊的信息处理问题。本章主要对人工神经元的BP算法进行了研究分析，利用MATLAB中的BP神经元网络工具函数，解决了BP算法在模式识别、函数逼近等方面应用时产生的大量的数值计算和计算仿真的矛盾，使BP神经元网络在实际应用中实现了计算机化，研究表明，应用MATLAB实现BP算法简单、易行、具有广泛的应用价值。 ;13.1神经元网络简介  13.1.1神经元网络的发展史;1986年，Rumelhart和Meclelland提出多层网络的误差反传(back propagation)学习算法，简称BP算法。BP算法是目前最为重要、应用最广的人工神经网络算法之一。 自20世纪80年代中期以来，世界上许多国家掀起了神经网络的研究热潮，可以说神经网络已成为国际上的一个研究热点。 所以研究神经元网络模型及在matlab中的实现为我们更好的对我们对神经元网络的理解有着深远的意义。 ;生物神经元网络结构;13.2人工神经网络结构 13.2.1人工神经网络;自适应性是指一个系统能改变自身的性能以适应环境变化的能力。神经网络的自学习是指当外界环境发生变化时，经过一段时间的训练或感知，神经网络能通过自动调整网络结构参数，使得对于结定输入能产 生期望的输出，训练是神经网络学刁的途径，因此经常将学习与训练两 个词混用。神经系统能在外部刺激下按一定规则调整神经元之间的突触连接，逐渐构建起神经网络，这一构建过程称为网络的自组织(或称重构)。 3.神经网络的基本功能： （1）联想记忆 利用事物间的联系通过联想进行记忆的方法。联想是由当前感知或思考的事物想起有关的另一事物，或者由头脑中想起的一件事物，又引起想到另一件事物。由于客观事物是相互联系的，各种知识也是相互联系的，因而在思维中，联???是一种基本的思维形式，是记忆的一种方法。 （2）非线性映射 许多系统的输入与输出之间存在复杂的非线性关系，设计合理的神经网络通过对系统输入输出样本对进行自动学习，能够以任意精度逼近任意复杂的非线性映射。神经网络的这一优良性能使其可以作为多维非线性函数的通用数学模型。 ;（3）分类与识别 对输入样本的分类实际上是在样本空间找出符合分类要求的分割区域，每个区域内的样本属于一类。客观世界中许多事物在样本空间上的区域分割曲面是十分复杂的，神经网络可以很好地解决对非线性曲面的逼近，因此具有很好的分类与识别能力； ;MP模型;13.2人工神经网络结构 13.2.1人工神经网络;可知当神经元i的输入信号加权和超过阈值时，输出为“1”，即“兴奋”状态；反之输出为“0”，是“抑制”状态。? 激发函数的基本作用： 1.控制输入对输出的激活作用； 2.对输入、输出进行函数转换； 3.将可能无限域的输入变换成指定的有限范围内的输出。 ; 13.2.4神经网络模型;对于一个3层的前馈神经网络N，若用X表示网络的输入向量，W1~W3表示网络各层的连接权向量，F1~F3表示神经网络3层的激活函数。 那么神经网络的第一层神经元的输出为： O1 = F1( XW1 ) 第二层的输出为： O2 = F2 ( F1( XW1 ) W2 ) 输出层的输出为： O3 = F3( F2 ( F1( XW1 ) W2 ) W3 ) 若激活函数F1~F3都选用线性函数，那么神经网络的输出O3将是输入X的线性函数。因此，若要做高次函数的逼近就应该选用适当的非线性函数作为激活函数。;(2) 反馈神经网络　(　Feedback Neural Networks ) 反馈型神经网络是一种从输出到输入具有反馈连接的神经网络，其结构比前馈网络要复杂得多。典型的反馈型神经网络有：Elman网络和Hopfield网络。 ;13.3神经网络的基本学习方式和学习规则 13.3.1神经网络的学习方式;无导师学习抽取样本集合中蕴含的统计特性，并以神经元之间的联接权的形式存于网络中。Hebb学习律是一种经典的无导师学习算法。 (2) 神经网络的工作状态 神经元间的连接权不变，神经网络作为分类器、预测器等使用。 (3) 无导师学习算法：Hebb学习率 Hebb算法核心思想是，当两个神经元同时处于激发状态时两者间的连接权会被加强，否则被减弱。 为了理解Hebb算法，有必要简单介绍一下条件反射实验。巴甫洛夫的条件反射实验：每次给狗喂食前都先响铃，时间一长，狗就会将铃声和食物联