02神经网络概述.ppt

神经网络 　电气工程学院 自动化 第二单元 神经网络概述 主要内容: 一、生物神经元 二、人工神经网络结构 三、神经网络基本学习算法 一、生物神经元 生物神经元 突触信息处理 信息传递功能与特点 1. 生物神经元 神经元是大脑处理信息的基本单元 人脑大约由1011 ～ 1012个神经元组成，每个神经元约与104～105个神经元联接，能接受并处理信息。神经元互相连接成神经网络. 神经元主要由细胞体、树突、轴突和突触组成 细胞体是神经元的中心；树突是神经元的主要接受器，接受信息；轴突主要传导信息，将信息从轴突起点传到轴突末梢；轴突末梢与另一个神经元的树突或细胞体构成一种突触机构，通过突触实现神经元之间的信息传递。 神经元功能：刺激、兴奋、传导、效应 类型：单极——无脊椎动物 双极——视网膜神经元neuron 多极——脊椎、锥体、小脑蒲根 原则：1 动态极化原则（即信号沿确定方向流动） 树突→轴突→突触→其他神经元 2 连接的专一性原则 神经元之间元细胞质的连续 神经元不构成随机网络 每一神经元与一些神经元形成特殊的精确的联系 2. 突触的信息处理 生物神经元传递信息的过程为多输入、单输出 神经元各组成部分的功能来看，信息的处理与传递主要发生在突触附近 当神经元细胞体通过轴突传到突触前膜的脉冲幅度达到一定强度，即超过其阈值电位后，突触前膜将向突触间隙释放神经传递的化学物质 突触有两种类型，兴奋性突触和抑制性突触。前者产生正突触后电位，后者产生负突触后电位 3. 信息传递功能与特点 具有时空整合能力：时间与空间的累加 不可逆性，脉冲只从突触前传到突触后，不逆向传递 神经纤维传导的速度，即脉冲沿神经纤维传递的速度，在1—150m／s之间 信息传递时延和不应期，一般为0.3～lms 可塑性，突触传递信息的强度是可变的，即具有学习功能 存在学习、遗忘或疲劳（饱和）效应，对应突触传递作用增强、减弱和饱和 二、人工神经网络结构 人工神经网络 人工神经元模型 常见响应函数 人工神经网络典型结构 人工神经网络分类 1. 人工神经网络 直观理解 神经网络是一个并行和分布式的信息处理网络结构 它一般由大量神经元组成 每个神经元只有一个输出，可以连接到很多其他的神经元 每个神经元输入有多个连接通道，每个连接通道对应于一个连接权系数 2. 人工神经元模型 通用模型 输入、输出关系： 求和操作 响应函数 (a)线性单元（比例函数） (b)符号函数 (c)饱和函数 (d)双曲函数 (e）阈值单元（阶跃函数） (f)(g)非线性单元（S型函数） 4. 人工神经网络概念 人工神经网络是生物神经网络的一种模拟和近似。 两个方面模拟： 一种是从结构和实现机理方面进行模拟；涉及到生物学、生理学、物理学及化学多基础学科； 再一种是从功能上加以模拟，即尽量使得人工神经网络具有生物神经网络的某些功能特性，如学习、识别、控制等功能。 神经网络研究的发展 (1)第一次热潮(40-60年代未) 1943年,美国心理学家W.McCulloch和数学家W.Pitts在提出了一个简单的神经元模型，即MP模型。1958年，F.Rosenblatt等研制出了感知机(Perceptron）。 (2)低潮(70-80年代初) (3)第二次热潮 1982年，美国物理学家J.J.Hopfield提出Hopfield模型，它是一个互联的非线性动力学网络他解决问题的方法是一种反复运算的动态过程,这是符号逻辑处理方法所不具备的性质. 1987年首届国际ANN大会在圣地亚哥召开，国际ANN联合会成立，创办了多种ANN国际刊物。1990年12月，北京召开首届学术会议。 ANN研究的目的和意义 (1)通过揭示物理平面与认知平面之间的映射，了解它们相互联系和相互作用的机理，从而揭示思维的本质，探索智能的本源。 (2)争取构造出尽可能与人脑具有相似功能的计算机，即ANN计算机。 (3)研究仿照脑神经系统的人工神经网络，将在模式识别、组合优化和决策判断等方面取得传统计算机所难以达到的效果。 主要应用: 人工神经网络以其具有自学习、自组织、较好的容错性和优良的非线性逼近能力，受到众多领域学者的关注。在实际应用中，80%～90%的人工神经网络模型是采用误差反传算法或其变化形式的网络模型（简称BP网络），目前主要应用于函数逼近、模式识别、分类和数据压缩或数据挖掘。 四种常见模型 反馈网络：Hopfield、双向联想记忆网络 前馈网络：单层感