Chapter__神经网络概述.doc

计算智能(CI: Computational Intelligence) 使用计算科学和技术拟人的智能的结构和行为： 信息的获取、传递、处理、再生和利用能力 主要包括： All of the nature-inspired methods. Remark CI: Nature-inspired method(s) + real-world (training) data = Computational Intelligence. 参考书： M. T. Hagan, H. B. Demuth, and M. H. Beale, 神经网络设计，机械工业出版社，2002. S. Kumar, Neural Networks, 清华大学出版社，2006. 许东等，基于MATLAB6.x的系统分析与设计——神经网络，西安电子科技大学出版社，2002. S. Haykin, Neural Networks--- A Comprehensive Foundation, Prentice Hall Inc., 1999. S. Theodoridis and K. Koutroumbas, Pattern Recognition, 机械工业出版社，2006. Chapter 1 神经网络概述 1940’s初：开始，人工智能；1960’s末：低潮，进展不大； 1980’s 中：重新，热潮，几乎所有工程领域；2000’s：下坡 两个标志性的成果： 多层前向网络的BP算法(1986)：逼近任意函数 Hopfield网络(1984)：TSP问题，联想记忆 人工神经网络 (Artificial Neural Networks) 1.什么是人工神经网络？ 人工神经网络是人类中枢神经系统的简化模型，是由大量简单的并行分布的计算单元（神经元，neurons）互相连接而成的自适应非线性系统。 2. 模拟人脑在两个方面 (1) 通过学习获取知识 (learning, training)； (2) 知识存储在神经元及其之间的连接上。 二、神经元模型 1. 生物神经元 （人类大脑神经元） (1) 什么是生物神经元 生物神经元是一个小细胞，具有如下功能： 接收来自感官或其它细胞的输入； 产生电输出响应，并传给其它神经元。 人脑包含：神经元 (2) 基本结构 三个主要成分：细胞体、轴突、树突 Fig 1. 生物神经元简图 树突 （接收信息） 接收来自其它神经元的电信号，并传给细胞体。 细胞体 （信息处理器） 信息处理器 ( 对输入信号) 轴突 （传输信息） 把细胞体的输出信号传给其它神经元。 突触 （储存信息） 轴突和树突的结合点（两神经元之间）：例如，新记忆的形成是通过改变突触的强度来实现。（液状体） 2. 人工神经元 是生物神经元的简单的模仿、简化和抽象，是一个极其简单的计算单元（函数）。 MP模型（McCulloch(神经解剖学家)-Pitts(数学家), 1943）： Fig. 2. 人工神经元模型 ， 神经元实现了的极其简单的非线性函数： 其中 —输入，Input（来自其它神经元的信号）； —输出，output (轴突上的电信号)； —权值，weight (突触的强度)； —阈值、门限，threshold; —激活函数、传输函数，activation function, transfer function. 例、实现逻辑函数“与门”（AND gate）运算。 真，0—假 神经元输入 神经元输出 (AND) 0 0 0 1 0 0 0 1 0 1 1 1 . Remark: 使人们看到了人类智能与计算机的联系，兴起了对神经网络的研究，产生了人工智能(AI: Artificial Intelligence)学科。 三、神经网络三要素 激活函数、网络结构、学习规则 1. 激活函数 (Activation Functions) (1) 线性激活函数 (用于ADLINE network) (2) 硬限幅激活函数 (用于Perceptron) 对称的硬限幅激活函数 (3) Sigmoid (S形)激活函数 ， 性质： 对称