人工神经网技术.ppt

人工神经网络技术 内容 神经网络工具箱 BP网络与BP学习算法 神经网络的学习 人工神经网络概述 神经网络基本数学模型 人工神经网络概述 人工神经网络（Artificial Neural Network, ANN），也称为神经网络（Neural Network, NN），是由大量处理单元广泛互联而成的网络，是对人脑的抽象、简化和模拟，反映人脑的基本特征。人工神经网络的研究是从人脑的生理结构出发来研究人的智能行为，模拟人脑信息处理的功能。它是植根于神经系统、数学、统计学、物理学、计算机科学及工程等学科的一种技术。 人工神经网络概述 人工神经网络是一种模拟人神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。人工神经网络具有自学习和自适应的能力，可以通过预先提供的一批相互对应的输入和输出数据，分析掌握两者之间潜在的规律，最终根据这些规律，用新的输入数据来推算输出结果。 神经网络基本数学模型 经过对生物神经元的长期广泛研究，1943年美国心理学家麦卡洛克（W.McCulloch）和数理学家皮茨（W.Pitts）根据生物神经元生物电和生物化学的运行机理提出神经元的数学模型，即著名的MP模型。 一个典型的人工神经元MP模型如图所示。 . . . . . . 神经网络基本数学模型 对于网络中的第i个神经元，接受多个其他神经元的输入信号 ，各连接强度以实系数 表示，即第j个神经元对第i个神经元作用的权值。利用某种运算把输入信号的作用结合起来，给出他们的总效果，称为净输入，以 表示，净输入的表达式有多种类型，最简单的一种形式是线性加权求和，即： MP模型的数学表达式为： 式中， 为阀值， 是激励函数。 . . . . . . 神经网络基本数学模型 激励函数 可取不同的函数，它可以是线性的，也可以是非线性的。常用的基本激励函数有以下三种； ①阀值函数 ②分段线性函数 该函数通常称为阶跃函数。此外，符号函数Sgn（t）也常常作为神经元的激励函数。 神经网络基本数学模型 ③S型函数 S型函数即Sigmoid函数。它是人工神经网络中最常用的激励函数。S型函数定义如下： 其中 为S型函数的斜率参数，通过改变参数 ，可以得到不同斜率下的S型函数。 神经网络的学习 学习功能是神经网络最主要的特征之一，神经网络的学习也称为训练，指的是通过神经网络所在环境的刺激作用调整神经网络的自由参数，使神经网络以一种新的方式对外部环境做出反应的一个过程。能够从环境中学习和在学习中提高自身性能是神经网络的最有意义的性质。 学习算法是指针对学习问题的明确规则集合。学习类型是由参数变化发生的形式决定的，不同的学习算法对神经元权值调整的表达式有所不同。没有一种独特的学习算法用于设计所有的神经网络。选择或设计学习算法时还需要考虑神经网络的结构即神经网络与外界环境相连的形式。 神经网络的学习 神经网络的学习方式可分为两类：有导师学习和无导师学习。 ①有导师学习 有导师学习又称为有监督学习，在学习时需要给出导师信号或称为期望输出。神经网络对外部环境是未知的，但可以将导师看做对外部环境的了解，由输入-输出样本集合来表示。导师信号或期望响应代表了神经网络执行情况的最佳效果，即对于网络输入调整网络参数，使得网络输出逼近导师信号或期望输出。 神经网络的学习 ②无导师学习 无导师学习包括强化学习和无监督学习。强化学习是模仿生物在“试探—评价”的环境中获得知识，改进行动方案以适应环境的特点，具有向环境学习已增长知识的能力。在无监督学习中没有外部导师或评价系统来统观学习过程，而是提供一个关于网络学习表示方法质量的测量尺度，根据该尺度将网络的自由参数最优化。一旦网络与输入数据的统计规律性达成一致，就能够形成内部表示方法来为输入特征编码，并由此自动得出新的类别。 BP网络与BP学习算法 BP网络是一种前向多层网络，是基于误差反向传播算法的有导师网络。BP网络通常有一个或多个隐层，隐层中的神经元均采用S型激活函数，输出层神经元采用线性传递函数。 x1 o1 输出层 隐藏层 输入层 x2 o2 om xn … … … … … … … BP网络与BP学习算法 BP算法是一种有导师的学习算法，这种算法通常采用梯度下降法。BP算法解决了多层前向网络的学习问题，促进了神经网络的发展。 如图所示为多层前向网络的一部分，其中有两种信号，一是实线表示的工作信号，工作信号正向传播；二是用虚线表示的误差信号，误差信号反向传播。 BP网络与BP学习算法 BP