人工神经网络概述及其在分类中的应用举例剖析.doc

人工神经网络概述及其在分类中的应用举例 秦兴德（周末班） 学号人工神经网络(ARTIFICIAL NEURAL NETWORK，简称ANN)是目前国际上一门发展迅速的前沿交叉学科。为了模拟大脑的基本特性，在现代神经科学研究的基础上，人们提出来人工神经网络的模型。人工神经网络是在对人脑组织结构和运行机智的认识理解基础之上模拟其结构和智能行为的一种工程系统。 神经网络在2个方面与人脑相似： (1) 人工神经网络获取的知识是从外界环境中学习得来的。 (2) 互连神经元的连接强度，即突触权值，用于存储获取的信息。他既是高度非线性动力学系统，又是自适应组织系统，可用来描述认知、决策及控制的智能行为。神经网络理论是巨量信息并行处理和大规模并行计算的基础。 一 人工神经网络的基本特征 1、 并行分布处理：人工神经网络具有高度的并行结构和并行处理能力。这特别适于实时控制和动态控制。各组成部分同时参与运算，单个神经元的运算速度不高，但总体的处理速度极快。 2、 非线性映射：人工神经网络具有固有的非线性特性，这源于其近似任意非线性映射(变换)能力。只有当神经元对所有输入信号的综合处理结果超过某一门限值后才输出一个信号。因此人工神经网络是一种具有高度非线性的超大规模连续时间动力学系统。 3、 信息处理和信息存储合的集成：在神经网络中，知识与信息都等势分布贮存于网络内的各神经元，他分散地表示和存储于整个网络内的各神经元及其连线上，表现为神经元之间分布式的物理联系。作为神经元间连接键的突触，既是信号转换站，又是信息存储器。每个神经元及其连线只表示一部分信息，而不是一个完整具体概念。信息处理的结果反映在突触连接强度的变化上，神经网络只要求部分条件，甚至有节点断裂也不影响信息的完整性，具有鲁棒性和容错性。 4、 具有联想存储功能：人的大脑是具有联想功能的。比如有人和你提起内蒙古，你就会联想起蓝天、白云和大草原。用人工神经网络的反馈网络就可以实现这种联想。神经网络能接受和处理模拟的、混沌的、模糊的和随机的信息。在处理自然语言理解、图像模式识别、景物理解、不完整信息的处理、智能机器人控制等方面具有优势。 5、 具有自组织自学习能力：人工神经网络可以根据外界环境输入信息，改变突触连接强度，重新安排神经元的相互关系，从而达到自适应于环境变化的目的。 6、 软件硬件的实现：人工神经网络不仅能够通过软件而且可借助软件实现并行处理。近年来，一些超大规模集成电路的硬件实现已经问世，而且可从市场上购到，这使得神经网络具有快速和大规模处理能力的实现网络。许多软件都有提供了人工神经网络的工具箱（或软件包）如Matlab、Scilab、R、SAS等。 二 人工神经网络的基本数学模型 神经元是神经网络操作的基本信息处理单位（图1）。神经元模型的三要素为： (1) 突触或联接，一般用，表尔神经元和神经元之间的联接强度，常称之为权值。 (2) 反映生物神经元时空整合功能的输入信号累加器。 图1 一个人工神经元（感知器）和一个生物神经元示意图 (3) 一个激活函数用于限制神经元输出（图2），可以是阶梯函数、线性或者是指数形式的函数（Sigmoid函数）等。 图3是神经元的基本模型，图4是多层人工神经网络模型的示意图，其中 为输入信号，对应于生物神经元的树突输入，其他神经元的轴突输出；为神经元的内部状态；为阀值；为神经元和神经元的连接权值，其正负分别表示兴奋和抑制；为激活函数，也称变换函数或传递函数；为输出。这个模型可以描述为： 图3 神经元的基本模型 图4 多层人工神经网络示意图 三 几种典型的人工神经网络模型 反向传播（BP）神经网络 BP网络是一种有监督的前馈运行的人工神经网络! 它由输入层/隐含层/输出层以及各层之间的节点的连接权所组成，这个学习过程的算法由信息的正向传播和误差的反向传播构成。在正向传播过程中，输入信息从输入层经隐含层逐层处理，并传向输出层,每一层神经元只影响下一层神经元的输出。如果不能在输出层得到期望的输出，则转入反向传播, 运用链数求导法则将连接权关于误差函数的导数沿原来的连接通路返回, 通过修改各层的权值使得误差函数减小。 Hopfield神经网络 基本的Hopfield神经网络是一个由非线性元件构成的全连接型单层反馈系统。网络中的每一个神经元都将自己的输出通过连接权传送给所有其它神经元，同时又都接收所有其它神经元传递过来的信息。所以Hopfield神经网络是一个反馈型的网络。其状态变化可以用差分方程来表征。反馈型网络的一个重要特点就是它具有稳定状态。当网络达到稳定状态的时 候，也就是它的能量函数达到最小的时候。能量函数表征网络状态的变化趋势，并可以依据Hopfield工作运行规则不断进行状态变化，最终能够达