神经网络第1章-绪论.ppt

* 主讲：唐 小 兵 Tel主要参考书 1 焦李成，神经网络系统理论，西安：西安电子科技大学出版社，1990 2 焦李成，神经网络的应用与实现，西安：西安电子科技大学出版社，1993 3 钟义信，潘新安，杨义先，智能理论与技术─人工智能与神经网络，人民邮电出版社，1992.12 4 胡守仁，余少波，戴 葵，神经网络导论，国防科技大学出版社，1993.10 5 程相君，王春宁，陈生潭，神经网络原理及其应用，国防工业出版社，1995.1 6 张际先，宓 霞，神经网络及其在工程中的应用，机械工业出版社，1998.5 7 李士勇编著，模糊控制?神经控制和智能控制论，哈尔滨工业大学出版社，1998.9 8 韩力群，人工神经网络理论、设计及应用，化学工业出版社，2002,1 9 丛爽，面向MATLAB工具箱的神经网络理论与应用，中国科学技术大学出版社，1998.11 10 王小平 曹立明，遗传算法：理论、应用及软件实现，西安交通大学出版社，2002.1 11 周明，孙树栋，遗传算法原理及应用，国防工业出版社，1999.6 12 陆金桂,李谦,遗传算法原理及其工程应用,中国矿业大学出版社,1997.12 第1章 绪论 第一部分 神经网络 定义：人工神经网络 (Artificial Neural Networks—ANNs) 定义不统一 §1-1 引言 定义一：“神经网络是由多个非常简单的处理单元彼此按某种方式相互连接而形成的计算系统，该系统是靠其状态对外部输入信息的动态响应来处理信息的。” 定义二：“人工神经网络是一种由许多简单的并行工作的处理单元组成的系统，其功能取决于网络的结构、连接强度以及各单元的处理方式。” 综合起来可简单表述为：人工神经网络是一种旨在模仿人脑结构及其功能的信息处理系统。 ● 大规模的并行结构 ● 信息分布式存储和并行处理，容错性好 神经网络具有的特点： ● 自学习、自组织、自适应性 ● 具有学习、记忆、联想、识别功能 已提出上百种人工神经网络模型，在模式识别、系统辨识、信号处理、自动控制、组合优化、预测预估、故障诊断、医学与经济学等领域已成功地解决了许多难题。 主要问题：计算或处理速度慢，有时收敛性不好，经常出现振荡和麻痹现象 §1-2 神经元与神经网络 神经元是以生物神经系统的神经细胞为基础的生物模型。 人脑有1011个神经元，图1.1是神经元连接示意图。 神经网络的基础：神经元(或称为处理单元)。 图1.1 生物神经元和与其他神经元发生连接的简化示意 (神经末梢) 输入数据：可以是原始数据，也可以是其它神经元的输出； 典型神经单元模型如图1.2所示，是一个多输入/单输出的信息处理单元。 输出数据：可以是最后结果，也可以作为另一个神经元的输入。 神经网络：大量形式相同的神经元连结在—起，如图1.3所示，它是一个高度的非线性系统 图1.2 神经单元模型 神经网络：大量形式相同的神经元连结在—起，如图1.3所示，它是一个高度的非线性系统 输 出 输 入 图1.3 神经网络模型 虽然每个神经元的结构和功能都较简单，但是神经网络的动态行为却十分复杂。 §1-3　神经网络发展简史 1943年，神经生理学家McCulloch 和数学家Pitts在数学生物物理学会刊上发表了一篇关于神经细胞如何工作的文章，提出了形式神经元的数学描述与结构方式，即M-P模型。 1949年，心理学家Hebb提出神经元之间联系强度可随其前后神经元的活动而变化的假设，根据这一假设提出了相应的学习规则，为神经网络的学习算法奠定了基础。 始于20世纪40年代，发展几起几落。 20世纪50年代末到60年代初，神经网络迎来第一次研究高潮。 1957年，心理学家Rosenblatt设计制作了感知器，这是最早提出的一种神经网络模型。 感知器网络模型：比较简单，但具有可学习性、分布式存储和连续计算等功能。 20世纪60年代末，美国著名人工智能学者Minsky和Papert对Rosenblatt的工作进行了深入的研究，出版了“感知机”一书，指出感知机的处理能力有限，甚至连XOR这样简单的逻辑问题也不能解决。——进入低潮期 20世纪80年代，神经网络研究开始复兴。 1982年至1986年，美国物理学家Hopfield提出了Hopfield神经网络模型，这种模型具有联想记忆的能力，成功地解决了复杂度为NP的旅行商(TSP)计算难题。 1986年，Rumelhart等人提出了多层网络的误差反向传播学习算法(即B-P算法)，解决了多层神经网络的学习问题，证明了多层神经网络的求解能力可以完成许多学习任务，解决许多实际问题。——进入兴盛期 后来发展有：模拟