神经网络信号处理.ppt

8.3.3连续型Hopfield单层反馈网络连续型Hopfield网络与离散型Hopfield网络的基本原理是一致1的。但连续型网络的输入、输出是模拟量，网络采用并行方式，使2得实时性更好。3网络的结构如图8.30所示。图中，运算放大器的输入/输出特4性为双极性S函数。为外加偏置电流，相当于神经元阀值的作5用；为电导值，是i放大器与j放大器的反馈系数，，是6反馈电阻，是输出电压，；电阻和电容并联实现图710中的时延，一般是运算放大器的输入电阻，为分布电8容。9定义能量函数E为设，则上式为设为第i个放大器输入节点的电压。根据基尔霍夫电流定律，放式中，是的反函数，即。放大器的输入-输出电压关系为S函数网络的微分方程描述和能量函数大器输入节点的电流方程为2.网络参数设计连续型Hopfield网络收敛于其能量函数的极小值，这使它能左优化计算。因为优化问题就是求其某个代价函数或目标函数的极小解。如维纳滤波器就是使一个均误差函数最小的最佳滤波器。对要求满足一定约束条件的优化问题，可以将约束条件包含于代价函数中，只要将优化问题的代价函数J映射成网络的能量函数E，就可以求出网络参数和。注意，约束条件下优化问题的代价函数一般有两部分。一部分为代价函数，其中Y为变量，。另一部分为惩罚函数，由约束条件决定。当不满足约束条件时，值就大。这样，代价函数便取。8.3.4随机型和复合型反馈网络1.随机型反馈网络随机型反馈网络与Hopfield网络的结构相同，并且同样是无自反馈的对称网络，即。区别仅在于随机型反馈网络每个单元的神经网络模型多层前向网络及其学习方法反馈网络及其能量函数自组织神经网络神经网络在信号处理中的应用第八章神经网络信号处理前面讨论的最佳滤波、自适应滤波和现代谱估计等都是在线性模型的前提下求最佳估计。但在实际中存在着大量的非线性模型问题，或者为题的数学模型往往很难建立或者不可能建立。人工神经网络是一种以自适应为特征的、无固定模型的非线性网络，可用于处理非线性模型为题或模型很难建立的问题。01下面仅在第一节简要介绍以生物学为基础的简化的神经元模型，而在其后章节中则是将神经网络作为信号处理的一种手段，不在追求网络的生物学意义。02第八章神经网络信号处理8.1神经网络模型8.1.1生物神经元及其模型生物的脑神经系统通过感觉器官（视觉、嗅觉、味觉、触觉）接收外界信息，在大脑中枢进行加工，然后通过执行器官向外输出。从而构成一个具有闭环控制系统特征的大规模系统。下图显示为神经系统的信息流处理。1943年，McCulloch和Pitts提出了一种高度简化的神经元模型，简称M-P模型。设某一个神经元具有个输入，各输入信号的强度分别为。神经元的输出为。模型的激活规则可由离散时间的差分方程描述式中，神经元的输入、输出值为0或1。1代表神经元的兴奋状态，0代表神经元的静止状态。表示第个输入与神经元的连接强度。为神经元的阀值。当各输入与其连接强度的加权和超过时，神经元进入兴奋状态。010302各种神经元模型的结构是相同的。都由一个处理节点和连接权（神经键连接强度）组成，带有一个输出端，信号从输入到输出端单向传输。各种神经元模型的不同之处仅在于对处理节点中的传递函数和激活函数的数量描述不同。下图为神经元的一般模型及其符号。其中，：输入矢量；：权矢量神经元可看成是一个多输入、单输出的非线性信号处理系统。其输入输出关系为：为方便起见，可将阈值等效成一个恒定的输入，其连接权为，即，这样净输入写成：这样，设为扩展的输入矢量和权矢量：01常用的变换函数有以下四种：阶跃函数、线性限幅函数、S函数和随机函数。其中，阶跃函数和S函数分别称为离散型的连接型的，它们可以是单极性的，也可以是双极性的。02阶跃函数（离散型）：01双极性02S型函数（连续型）：03可见：04阶跃函数和S函数的表达式：可以这样定义人工神经网络：它是由许多个处理单元相互连接组成的信号处理系统。单元的输出通过权值与其它单元（包括自身）相互连接，其中连接可以是延时的，也可以是无延时的。可见，人工神经网络是由以上许多非线性