人工神经网络讲稿.pptVIP

人工神经网络Artificial Neural Network 演 讲 者：关凤华 指导教师：赵冬梅 2008年11月11日 主要内容 1、引言 1、引言 1、引言 1、引言 2、生物神经元 2、生物神经元 突触，是一个神经元与另一个神经元之间相联系并进行信息传送的结构。 突触的存在说明：两个神经元的细胞质并不直接连通，两者彼此联系是通过突触这种结构接口的。有时．也把突触看作是神经元之间的连 接。 2生物神经元 目前，根据神经生理学的研究，已经发现神经元及其间的突触有4种不同的行为。神经元的4种生物行为有： 能处于抑制或兴奋状态； 能产生爆发和平台两种情况 能产生抑制后的反冲 具有适应性。 突触的4种生物行为有： 能进行信息综合 能产生渐次变化的传送 有电接触和化学接触等多种连接方式 会产生延时激发。 目前，人工神经网络的研究仅仅是对神经元的第一种行为和突触的第一种行为进行模拟，其它行为尚未考虑。 2生物神经元 3神经元的数学模型 3神经元的数学模型 W—权矢量（weight vector） X—输入矢量（input vector） 3神经元的数学模型 比较常用的是激活函数可归结为三种形式：阀值型、S型和线性型。 3神经元的数学模型 S型（Sigmoid）激活函数 3神经元的数学模型 线性型激活函数 4.人工神经网络 人工神经网络（Artificial Neural Network ANN）是对人类大脑系统的一阶特性的一种描述，简单地讲，它是一个数学模型．可以用电子线路来实现．也可以用计算机程序来模拟，是人工智能研究的一种方法。 4.人工神经网络 按照网络的结构区分，则有前向网络和反馈网络 按照学习方式区分，则有有教师学习和无教师学习网络 按照网络性能区分，则有连续型和离散性网络，随机型和确定型网络 按照突触性质区分，则有一阶线性关联网络和高阶非线性关联网络 按对生物神经系统的层次模拟区分，则有神经元层次模型，组合式模型，网络层次模型，神经系统层次模型和智能型模型。 4.人工神经网络 第一种：前馈网络（Feedforward Network） —表示一个非线性激活函数，每个神经元的激活函数是算子的分量，激活函数是标量，是输入矢量和权矢量之积。 前馈网络没有反馈，可以连成多层网，前馈网络通常是有教师提供信息，提供期望值，可以从误差信号来修正权值，直到误差小于允许范围。 对于输入X（t）仅在初始时刻不为零的情况，这种网络也可以保持有输出信号。所以 ，即 在t0时，输入可以取消或被系统自动保持。如果我们这里只考虑 ，则在t0时，没有输入的情况，可将下一时刻的输出写成： ，为方便起见，也可将网络的输出状态表示成： 4.人工神经网络 第三种：相互结合型网络 相互结合型网络的结构如图所示，它是网状结构网络，构成网络中的各个神经元都可能相互双相联接，所有的神经元即作输入，同时也用输出。这种网络如果在某一时刻从外部加一个输入信号，各个神经元一边相互作用，一边进行信息处理，直到收敛于某个稳定值为止。 4.人工神经网络 第四种：混合型网络 前面所讲的前馈网络和上述的相互结合型网络分别是典型的层状解构网络和网状结构网络，介于两种网络中间的一种连接方式，如图所示：它是在前馈网络的同一层间各神经元又有互联的结构，所以称为混合型网络。这种在同一层内互联的目的是为了限制同层内神经元同时兴奋或抑制的数目，已完成特定功能。例如：视网膜的神经元网络就有许多这种连接形式。 4.人工神经网络 神经元网络的学习规则 神经元网络的最大特点就是它具有学习的能力，在学习过程中，主要是网络的连接权的值产生了相应的变化，学习到的内容也是记忆在连接权之中。 神经元网络的学习规则 离散学习步骤可写成： Hebb学习规则 权分量用下式调整： 或 感知机（Perceptron）学习规则 这一规则是有监督学习，学习信号是期望值与神经元实际响应之差学习规则如下图所示。 感知机（Perceptron）学习规则 在这一规则下，Oi仅当不正确的情况下才进行权调整，误差是学习的必要条件。由于期望值（di）与响应值（ Oi ）均为+1或者-1，所以权调整量为： Delta学习规则 仅对连续激活函数，并只对有监督学习模型有效。 学习信号为： Delta学习规则 这个规则是与离散感知器学习规则是并行的，可以称为连续感知器训练规则，它可以进一步推广到多层。 一般要求c取较小的值，是在权空间，按负的方向转动权矢量。 神经元网络的工作过程： 这里主要介绍