神经网络基本原理.pptVIP

人工神经网络的分类

目前，已有的人工神经网络模型至少有几十种，其分类方法也有多种。例如:按网络拓扑结构可分为层次型结构和互连型结构按信息流向可分为前馈型网络与有反馈型网络；按网络的学习方法可分为有教师的学习网络和无教师的学习网络；按网络的性能可分为连续型网络与离散型网络，或分为确定性网络与随机型网络；神经元的模型确定之后，一个神经网络的特性及能力主要取决于网络的拓扑结构及学习方法PARTONE人工神经网络的互连结构及其学习机理人工神经网络的拓扑结构

建立人工神经网络的一个重要步骤是构造人工神经网络的拓扑结构，即确定人工神经元之间的互连结构。根据神经元之间连接的拓扑结构，可将神经网络的互连结构分为层次型网络和互连型网络两大类。层次型网络结构又可根据层数的多少分为单层、两层及多层网络结构。人工神经网络的互连结构及其学习机理简单单级网……x1x2…xno1o2onwnmw11w1mw2mwn1输出层输入层 单层网络结构有时也称两层网络结构

单层或两层神经网络结构是早期神经网络模型的互连模式，这种互连模式是最简单的层次结构。1）不允许属于同一层次间的神经元互连。2）允许同一层次间的神经元互连，则称为带侧抑制的连接（或横向反馈）。此外，在有些双层神经网络中，还允许不同层之间有反馈连接。输出层x1o1w11w1mx2o2w2m………xnomwn1输入层 V多层网络结构

通常把三层和三层以上的神经网络结构称为多层神经网络结构。所有神经元按功能分为若干层。一般有输入层、隐层（中间层）和输出层。输出层隐藏层输入层o1o2om…x1x2xn………………多层网络结构

输入层节点上的神经元接受外部环境的输入模式，并由它传递给相连隐层上的各个神经元。隐层是神经元网络的内部处理层，这些神经元再在网络内部构成中间层，由于它们不直接与外部输入、输出打交道，故称隐层。人工神经网络所具有的模式变换能力主要体现在隐层的神经元上。输出层用于产生神经网络的输出模式。

较有代表性的多层网络模型有：前向网络模型、多层侧抑制神经网络模型和带有反馈的多层神经网络模型等。多层前向神经网络

多层前向神经网络模型如图5-8所示。输入模式：由输入层进入网络，经中间各层的顺序变换，最后由输出层产生一个输出模式，便完成一次网络更新。 前向网络的连接模式不具有侧抑制和反馈的连接方式。………图5-8多层前向神经网络模型多层侧抑制神经网 同一层内有相互连接的多层前向网络，它允许网络中同一层上的神经元之间相互连接，如图5-9所示。这种连接方式将形成同一层的神经元彼此之间的牵制作用，可实现同一层上神经元之间的横向抑制或兴奋的机制。这样可以用来限制同一层内能同时激活神经元的个数，或者把每一层内的神经元分成若干组，让每组作为一个整体来动作。………图5-9多层侧抑制神经网络带有反馈的多层神经网络

这是一种允许输出层-隐层，隐层中各层之间，隐层-输入层之间具有反馈连接的方式，反馈的结果将构成封闭环路。x1o1输出层隐藏层输入层x2o2omxn…带有反馈的多层神经网络这种神经网络和前向多层神经网络不同。多层前向神经网络属于非循环连接模式，它的每个神经元的输入都没有包含该神经元先前的输出，因此可以说是没有“短期记忆”的。但带反馈的多层神经网络则不同，它的每个神经元的输入都有可能包含有该神经元先前的输出反馈信息。因此，它的输出要由当前的输入和先前的输出两者来决定，这有点类似于人类短期记忆的性质。人工神经网络的运行一般分为学习和工作两个阶段。第一章节人工神经网络学习人工神经网络最具有吸引力的特点是它的学习能力。人工神经网络学习和记忆的心理学基础

学习和记忆是人类智能的一个重要特征。有一种观点认为，人类的学习过程实际上是一种经过训练而使个体在行为上产生较为持久改变的过程。按照这种观点，学习离不开训练。人工神经网络学习学习和记忆同样也应该是人工神经网络的一个重要特征。人工神经网络的学习过程就是它的训练过程。人工神经网络的功能特性由其连接的拓扑结构和突触连接强度（即连接权值）来确定。神经网络训练的实质是通过对样本集的输入/输出模式反复作用于网络，网络按照一定的学习算法自动调节神经元之间的连接强度（阈值）或拓扑结构，当网络的实际输出满足期望要求，或者趋于稳定时，则认为学习圆满结束。网络学习的准则应该是：如果网络作出错误的的判决，则通过网络的学习，应使得网络减少下次犯同样错误的可能性。首先，给网络的各连接权值赋予(0，1)区间内的