神经计算基础(3.1人工神经网络基础).ppt

21神经元及其联接；神经元之间的联接强度是可以随训练而改变的；每个神经元可以有一个“阈值”。神经元之间的联接强度决定信号传递的强弱；信号可以是起刺激作用的，也可以是起抑制作用的；一个神经元接受的信号的累积效果决定该神经元的状态；4365生物神经系统的六个基本特征神经元是构成神经网络的最基本单元（构件）。01要想构造一个人工神经网络系统，首要任务是构造人工神经元模型。02同时，希望这个模型不仅是简单容易实现的数学模型，而且还应该具有生物神经元的六个基本特性033.1.5人工神经元根据上述对生物神经元的讨论，希望人工神经元可以模拟生物神经元的一阶特性——输入信号的加权和。01对于每一个人工神经元来说，它可以接受一组来自系统中其他神经元的输入信号，每个输入对应一个权，所有输入的加权和决定该神经元的激活（Activation）状态。这里，每个权就相当于突触的“联接强度”。02图3.5不带激活函数的人工神经元1.人工神经元的基本构成：设n个输入分别表示为：它们对应的联接权值依次为：所有的输入构成输入向量X对应的联接权值构成联接权向量W：01用net表示该神经元所获得的输入信号的累积效果，为简便起见，称之为该神经元的网络输入：021.人工神经元的基本构成神经元在获得网络输入后，它应该给出适当的输出。按照生物神经元的特性，每个神经元有一个阈值，当该神经元所获得的输入信号的累积效果超过阈值时，它就处于激发态；否则，应该处于抑制态。为了使系统有更宽的适用面，希望人工神经元有一个更一般的变换函数，用来执行对该神经元所获得的网络输入的变换，这就是激活函数，也可以称之为激励函数、活化函数。图3.7人工神经元2.激活函数激活函数同时也用来将神经元的输出进行放大处理或限制在一个适当的范围内。典型的激活函数有4种：线性函数非线性斜面函数阶跃函数S型函数2.激活函数1）线性函数（LinearFunction）线性函数是最基本的激活函数，起到对神经元所获得的网络输入进行适当的线性放大的作用。线性函数非常简单，但是它的线性特征极大的降低了网络性能，甚至使多级网络的功能退化成单级网络的功能。k为放大系数，C为位移，它们均为常数。2）非线性斜面函数（RampFunction）非线性斜面函数是最简单的非线性函数，实际上它是一种分段线性函数。这种函数在于把函数的值域限制在一个给定的范围式中，k为常数。γ被称为饱和值，为该神经元的最大输出。3）阈值函数（ThresholdFunction）阈值函数又叫阶跃函数，当激活函数仅用来实现判定神经元所获得的网络输入是否超过阈值时，使用此函数。二值形式，双极形式。式中，β，γ，θ均为非负实数，θ为阈值124）S形函数（SquashingFunction）S形函数又叫压缩函数和逻辑斯特函数(LogisticFunction)，其应用最为广泛。它的饱和值为a和a+b式中，a，b，d均为常数4）S形函数（SquashingFunction）最简单的形式为（函数的饱和值为0和1）：扩充平方函数（函数的饱和值为0和1）：双曲函数（函数的饱和值为-1和1）：4）S形函数（SquashingFunction）S形函数之所以被广泛应用，除了其非线性和处处连续可导性外，更重要的是由于该函数对信号有一个较好的增益控制：函数的值域可以由用户根据实际需要给定，当的值比较小时，有一个较大的增益；当的值比较大时，有一个较小的增益，这为防止网络进入饱和状态提供了良好的支持。将人工神经元（AN）的基本模型和激活函数合在一起构成人工神经元，这就是著名的McCulloch-Pitts模型，简称为M-P模型，也可以称之为处理单元（PE）。UCSD的PDP小组曾将人工神经元定义得比较复杂，在本书中，为方便起见，均采用这种简化了的定义，同时简记为AN。图3.7所给出的神经元在今后给出的图中均用一个结点表示。图3.7人工神经元3.M-P模型用结点代表神经元，01用加权有向边代表从神经元到神经元之间的有向联接，02相应的权代表该联接的联接强度，03用箭头代表信号的传递方向。04为了理解方便，3.1.6人工神经网络的拓扑特性1.联接模式用正号（“＋”，可省略）表示传送来的信号起刺激作用，用于增加神经元的活跃度；用负号（“－”）表示传送来的信号起抑制作用，用于降低神经元的活跃度。网络应该有输入和输出，从而就有了输入层和输出层。层