第八章(现代数字信号处理).ppt

第八章 神经网络信号处理;第八章 神经网络信号处理;8.1 神经网络模型; 1943年，McCulloch和Pitts提出了一种高度简化的神经元模型，简称M-P模型。; 各种神经元模型的结构是相同的。都由一个处理节点和连接权（神经键连接强度）组成，带有一个输出端，信号从输入到输出端单向传输。 各种神经元模型的不同之处仅在于对处理节点中的传递函数 和激活函数 的数量描述不同。下图为神经元的一般模型及其符号。;其中， ：输入矢量； ：权矢量 神经元可看成是一个多输入、单输出的非线性信号处理 系统。其输入输出关系为：;8.1.2 人工神经网络模型;：神经元（1） ;下面是个简单的用神经网络作处理的例子：;;8.1.3 神经网络的学习方式 ; 一种是基于自适应LMS学习算法：即将误差函数的负梯度作为网络权值的调整量。 另一种是Hebb学习规则，它是基于心理学中的反射机理给出权值的调整量：;神经网络的学习从方式上分成以下三种情形：;③ 无导师学习 对于一些问题，既不知道输出模式，又没有导师的信号，则根据过去输入模式的统计特性来训练网络。这种学习方式表现了自组织的特点。 无导师学习方式，可以是在线学习，如前面讨论的自适应Filter那样，也可以边学习边工作。这时要求学习速度能跟上网络处理速度。;8.2 多层前向网络及其学习算法;8.2.2 多层前向网络的非线性映射能力;8.2.3 权值计算—矢量外积算法;8.2.4 有导师学习法——误差修正法;2. 多层前向网络的学习算法;（2）随机学习算法;8.3 反馈网络及其能量函数;一个非线性动态系统是否存在吸引子，这些吸引子是否稳定， 这是首先要解决的问题。非线性动态系统用非线性微分方程或非线 性差分方程描述。而非线性方程的解不一定能容易求得。李雅普诺 夫稳定性理论提供了从方程本身来判断吸引子的存在和稳定的方 法。李雅普诺夫定理简述如下： 考虑非线性微分方程组： ，写成矢量 形式为 ，它的解是时间t的函数，且与 初始值有关，记 为 。当 时，有 ，称 为系统的平衡 态。所谓稳定性是考虑微分方程的解 是否趋向平衡态。 以孤立平衡点 附近的点 作为初始态，若系统的运动轨迹 仍在 附近，则称平衡态 是稳定的。严格的定义为：若 对每个实数 ，存在一实数 ，使得当初始态满足 时，系统运动轨迹满足 ，则称平衡态 在李雅普 诺夫意义下是稳定的。进一步，若 ,就称 是渐近 稳定的。 ;系统的平衡点 是渐近稳定的一个条件是：能找到一个X的连 续函数 ，使得 称 为李雅普诺夫函数。以下几点需要注意： (1)物理上的能量函数一般可作为李雅普诺夫函数，因此，李雅普诺夫函数也称为计算能量函数。一个物理系统总是在能量最低状态下是最稳定的。稳定的非线性动态系统也总是朝能量低的方向运动。实际上，作为能量函数，E可正可负，只要有下界且 即可。 (2)对给定的动态系统，其李雅谱诺夫函数不是唯一的。可以找到许多不同的李雅谱诺夫函数。 (3)若找不到系统的李雅谱诺夫函数，并不说明系统不稳定。 (4)还没有统一的找李雅谱诺夫函数的办法，一般是根据系统的物理意义或类似能量的概念写出李雅谱诺夫函数。 ;(5)对于离散时间非线性动态系统，用非线性差分方程描述，也有计算能量函数的定理：只要找到一个有下界函数 ,其增量 是非正的，即 则该函数就是计算能量函数，且说明该离散动态系统也朝着减小能 量的方向运动，最后趋于稳定平衡点，即有 。 8.3.2 离散型Hopfield单层反馈网络 离散型Hopfield单层反馈网络的结构如图8.29所示，由n个神经 元组成， 为输入， 为输出， 为阀值， 。时延表现在 图中变换函数的状态转换的时序。这种网络是离散时间、离散型变 换函数网络。 ;;1.网络的差分方程描述 设第i个单元的净输入为 ，有 式中，k为时间变量，变换涵数取双极性阶跃函数，即 网络状