人工神经元模型介绍.ppt

感知器的学习算法 感知器的学习算法 感知器学习规则的训练步骤： (1) 对各权值w0j(0),w1j(0),┄,wnj(0)，j=1, 2,┄,m （m为计算层的节点数）赋予较小的非零随机数； (2) 输入样本对{Xp,dp}，其中Xp=(-1,x1p,x2p,┄,xnp)， dp为期望的输出向量（教师信号），上标p代表 样本对的模式序号，设样本集中的样本总数为P， 则p=1,2,┄,P； (3)计算各节点的实际输出ojp(t)=sgn[WjT(t)Xp], j=1,2,...,m； (4)调整各节点对应的权值，Wj(t+1)= Wj(t)+η[djp-ojp(t)]Xp, j=1, 2,┄,m, 其中η为学习率，用于控制调整速度，太大 会影响训练的稳定性，太小则使训练的收敛速度变慢， 一般取0＜η≤1； (5)返回到步骤(2)输入下一对样本，周而复始直到对所有 样本，感知器的实际输出与期望输出相等。 感知器学习规则的训练步骤： （1）权值初始化 （2）输入样本对 （3）计算输出 （4）根据感知器学习规则调整权值 （5）返回到步骤(2)输入下一对样本，周而复始直到对所有样本，感知器的实际输出与期望输出相等。 谢谢！ 人工神经元模型 MP模型、感知器模型及其训练学习算法 树突（Dendrite） 胞体(Soma) ?轴突（Axon） 突触（Synapse） 大脑皮层，每立方毫米中，神经元超过104个，连接长度超过几公里 大脑神经元的工作原理 二、人工神经网络的历史 早期阶段（～1960’s） 1943 McCulloch和Pitts 提出神经元的数学模型（MP模型） 1949 Hebb 提出权重加强的学习机理 1957 Rosenblatt 感知机（perceptron）有认知学习功能 1969 Mingsky 专著“perceptron” 证明线性（单层）感知 机不能解决XOR问题，ANN进入低潮 二、人工神经网络的历史 过渡期（1970’s） 低潮中，许多学者深入研究ANN理论、模型。 MIT的Marr提出视觉模型 Boston Univ的Grossbery全面研究ANN理论，提出ART1，ART2，ART3自适应谐振理论模型。 甘利俊一 ANN的数学理论 Fuknshima 神经认知网络理论 芬兰的Kohonen 自组织联想记忆 二、人工神经网络的历史 高潮（1980～） 1982 加州理工 Hopfield提出结点全互联ANN模型（Hop模型），用单层ANN解决了TSP问题 1987.6 ICNN（International Conference on NN）召开 1987 加州理工 Abn－mostafa，Psaitis 2D联想存储输入残缺图案也可识别 1988 ATT Bell lab 120*120元件的ANN 1989 三菱 光学ANN芯片，32个神经元识别26个字母 1989 日立 5“硅片集成576个神经元 1990 Bell Lab 黄庭钰 数字光学处理器 1990 IBM AS400 提供ANN仿真开发环境 1992 SGI 将ANN用于航天飞机控制臂 ANN已在专家系统、智能控制等领域广泛应用 神经元建模的六点假定 神经元模型是在以下六条假设的基础上建立的： 每个神经元都是一个多输入单输出的信息处理单元 神经元输入分兴奋性输入和一致性输入两种类型 神经元具有空间整合特性和阈值特性 神经元输入与输出间有固定的时滞，主要取决于突触延搁 忽略时间整合作用和不应期 神经元本身是非时变的，即其突触时延和突触强度均为常数 假设1：多输入单输出 图(a) 表明，正如生物神经元有许多激励输入一祥，人工神经元也应该有许多的输入信号，图中每个输入的大小用确定数值xi表示，它们同时输入神经元j，神经元的单输出用oj表示。 假设2：输入类型：兴奋性和抑制性 生物神经元具有不同的突触性质和突触强度，其对输入的影响是使有些输入在神经元产生脉冲输出过程中所起的作用比另外一些输入更为重要。图(b)中对神经元的每一个输入都有一个加权系数wij，称为权重值，其正负模拟了生物神经元中突触的兴奋和抑制，其大小则代表了突触的不同连接强度。 假设3：空间整合特性和阈值特性 作为ANN的基本处理单元，必须对全部输入信号进行整合，以确定各类输入的作用总效果，图(c)表示组合输人信号的“总和值”，相应于生物神经元的膜电位。神经元激活与否取决于某一阈值电平，即只有当其输入总和超过阈值时, 神经元才被激活而发放脉冲, 否则神经元不会产生输出信号。 神经元的输出 图(d) 人工神经元的输出也同生物神经元一样仅