人工神经网络_2第二章NN理论基础(阅读).ppt

第二章 NN理论基础 2.1 生物神经系统的模型化 2.2 M-P神经元模型与人工神经网络的构成 2.3人工神经网络的学习机理与 Hebb学习规则 2.4教师示教学习与无教师示教学习 2.5模式识别的基本定义与方法 2.6生物NN与人工NN的比较 2.7线性分类器 2.1 生物神经系统的模型化 神经元特点 1）神经元是一个多输入、单输出元件。 2）神经元是一个具有非线性输入/输出特性的元件。 3）神经元具有可逆性，传递强度可变。 4）神经元的输出是各个输入综合的结果。 2.1 生物神经系统的模型化 (1) (1)+(2) (1)+(2)+(3) (1)+(2)+(3)+(4) 2.1 生物神经系统的模型化 生物神经元模型数学表达式 把阈值θ看成神经元的第0个输入，x0为常数-1， 神经元的响应函数根据要求和特点的不同，分为以下几种： a)阶跃函数 2.1 生物神经系统的模型化 b)S型函数 c）比例函数 2.1 生物神经系统的模型化 d）符号函数 e)饱和函数 2.1 生物神经系统的模型化 f）双曲函数 2.2 M-P神经元模型与人工神经网络的构成 一．M-P模型： 1943年，McCulloch（生理学家）和Pitts（数学家）定义了神经元模型M-P模型。 f：阶跃函数 输入向量： 权值向量： 阈值： 输出： 其中： 响应函数也可采用符号函数： 2.2 M-P神经元模型与人工神经网络的构成 二、神经网络的连接形成： 1）单层网络： 左边只起分配信号的作用 输入向量： 输出向量： 神经元的输入向量： 加权阵： 2.2 M-P神经元模型与人工神经网络的构成 2）多层网络： 中间层神经元的输出： 2.2 M-P神经元模型与人工神经网络的构成 3）反馈型网络： 4）全互连接型 一层的输出通过连接权 回送到同一层或前一层。 2.3人工神经网络的学习机理与Hebb学习规则 NN仅有拓扑结构还不能具有任何智能特性，必须有一套完整的学习、工作规则与之配合。 人工神经网络的学习规则，说到底就是网络连接权的调整规则。 40年代，Hebb根据心理学中条件反射机理提出了神经细胞间连接强度变化的规则，即所谓的Hebb学习规则。 内容为：如果两个神经元同时兴奋（同时为1），则它们 之间的突触联系得以增强。 以 表示 神经元i,j的激活值 表示 i,j之间的连接权 2.3人工神经网络的学习机理与Hebb学习规则 则Hebb学习规则为： 学习过程： 2.4教师示教学习与无教师示教学习 一、教师学习： 在网络的学习过程中，对于网络输出的正确性必须有一个评价标准，网络根据实际输出与评价标准的比