[理学]第3讲 人工神经网络基本模型1.ppt

归纳一下生物神经元传递信息的过程： 生物神经元是一个多输入、单输出单元。 * 激励函数连续的，则为连续性的网络，若激励函数为二值函数则为离散型网络，随即NN是对NN引入随机机制，认为神经系统按照概率的原理进行工作的，这就是说每个神经元的兴奋或抑制具有随机性，其概率取决于神经元的输入。Boltzmann机就是典型的随即神经网络。 * 单层：“输入层”不具有执行计算的功能，下一章介绍的单层感知器和自适应线性元件都是单层前向网络。 多层：后面介绍的多层感知器（BP）及BPF网络均居于多层前向网络。第二层的输出信号作为第三层的输入信号。 * 计算智能 (Computational Intelligence, CI) 第3讲 人工神经网络基本模型 第一章 人工神经网络的基本模型 本讲要点 1.1 人脑的生物学模型 1.2 人工神经网络模型 1.3 人工神经网络的特点 1.4 人工神经网络的分类 1.5 人工神经网络的学习规则 1.1 人脑的生物学模型 人脑是由大约140亿个神经互相连接而成的神经网络。神经元是大脑处理信息的基本单元，以细胞体为主体，由许多向周围延伸的不规则树枝状纤维构成的神经细胞，其形状很像一棵枯树的枝干。它主要由细胞体、树突、轴突和突触(Synapse，又称神经键)组成。 图1－1 生物神经元示意图 细胞体：对信号进行处理，相当于CPU。 树突：细胞体向外伸出的分支，多根，长1mm左 右，细胞体的输入端。 轴突：细胞体向外伸出的最长的分支，即神经纤维，一根，长1cm~1m左右，通过轴突上的神经末梢将信号传给其它神经元，相当于细胞体的输出端。 突触：各神经元之间轴突和树突之间的接口，即神经末梢与树突相接触的交界面。每个细胞体大约有103~104个突触，突触有兴奋型和抑制型两种。 神经网络直观理解 神经网络是一个并行和分布式的信息处理网络结构，它一般由许多个神经元组成，每个神经元只有一个输出，它可以连接到很多其他的神经元，每个神经元输入有多个连接通道，每个连接通道对应于一个连接权。 1.2 人工神经网络模型 定义：人工神经网络(简称神经网络)是由大量的、功能比较简单 的形式神经元（Neurons）互相连接而构成的复杂网络系统，用它可以模拟大脑的许多基本功能和简单的思维方式。 常用的人工神经元模型可用图1－2模拟。 图1－2 人工神经元模型 突触连接或连接权 输入信号 阈值 激励函数 其中，x1, x2, …, xn为n个神经元的轴突输出(即已知的输入信号）. w1, w2, …, wn为n个神经元与第i(i=1,2,…,n)个神经元的突触连接或连接权，可正可负，表示兴奋性突触和抑制性突触； s为细胞的状态，是神经元突触后电位的累加值，即 激励函数（响应函数或活化函数）是一个单调上升函数，当s大时，y值也大，但激励函数又是个有限值函数。这是因为在生物体内，神经细胞单元脉冲发放率有一个最大值，但不能无限上升的缘故。 激励函数的基本作用： 1、控制输入对输出的激活作用； 2、对输入、输出进行函数转换； 3、将可能无限域的输入变换成指定的有限范围内的输出。 1.阈值函数（Threshold Function）--阶跃函数 常用激励函数 2.线性函数（Linear Function ）: 3.分段线性函数(Piecewise -Linear Function): 4.Sigmoid 函数(Sigmoid Function) 例：神经元i有4个输入,分别为5,-10,6和-4,对应的权值分别为0.6,0.4,-1.5,-0.8,偏差为0.5,画出网络模型并求出激励函数分别为阈值函数,线性函数,分段线性函数和sigmoid函数（参数为1）时,神经元i的输出yi 。 解：网络模型如下： 而 故 (1)当激励函数为阈值函数时， (2)当激励函数为线性函数时， (3)当激励函数为分段线性函数时， (4)当激励函数为sigmoid函数时， 1.3人工神经网络的特点 1）与生物体的神经细胞相比 数目差距； 种类不同； 生物神经细胞会死亡和繁殖；突触有疲劳和不应期； 权的表示法与生物突触有很大区别。 2）与计算机比较 结构不同； 具有很强的容错性； 分布式的存储形式； 具有很强的学习功能。 1.4人工神经网络的分类 从网络性能角度——连续性与离散性网络，确定 性与随机性网络 从网络结构角度——前向与反馈 从学习方式角度——有导师学习和无导师学习 （1）有导师学习又称为监督学习，在学习时需要给出导师信号或称为期望输出（响应），对于网络输入调整网络参数，使得网络输出逼近导师信号或期望响应。 （2）无导师学习又称为强