语音信号处理第6章.ppt

6.1 概述 6.2 人工神经网络简介 6.3 人工神经网络的构成 6.4几种用于模式识别的神经网络模型及 其主要算法 6.5 用神经网络进行模式识别的主要做 法 6.6 人工神经网络模型的应用举例 ;6.1概述;6.2 人工神经网络简介;人工神经网络可采用物理可实现的器件或利用现有的计算机来模拟生物神经网络的某些结构与功能。构成人工神经网络的三个基本要素是： （1）神经元，即人工神经网络的基本处理单元，在网络中称为节点或网点。 （2）网络拓朴，即网络的结构以及神经元彼此联接的方式。根据联接方式的不同，网络可以分为反馈（Recurrent）型网（又称循环网）以及非反馈型网。 （3）网络的训练（学习）算法。训练算法是指一些决定联接各神经元的初始权值和阈值以及如何随着训练模式的加入而调整这些权值和阈值的方法。;6.3 人工神经网络的构成; 神经元 人工神经网络模型是模仿人脑构成的，其构成的基本单元为人造神经元，又称节点或网点。其作用是把若干个输入加权求和，并将这个加权和非线性处理后输出。 ; 神经元的学习算法 几乎所有神经网络学习算法都可以看作是Hebb学习规则的变形。Hebb学习规则的基本思想是： 如果神经元 接收来自另一神经元 的输出，则当这两个神经元同时兴奋时，从 到 的权值 就得到加强。 具体到前述的神经元模型，可以将Hebb规则表现为如下的算法形式： 公式中 是对第i个权值的修正值， 是控制学习速度的系数。 ; 网络拓扑 网络拓扑是指网络的结构以及神经元之间的联接方式。根据联接方式的不同，可分为反馈型人工神经网络和非反馈型人工神经网络。前者神经元之间存在着反馈环路，后者神经元之间则不存在着反馈环路。对于非反馈型人工神经网络，若结构是分层的，且每一层神经元只与上一层神经元相联，则该网络称为前馈型人工神经网络。 ; 网络的学习算法 网络的学习算法是以满足网络所需的性能为目标，决定联接各神经元的初始权值及在训练中调整权值的方法。学习方法可分为监督学习与非监督学习。前者为有导师学习，训练时，同时向网络提供输入模式及输出的样板模式（导师）???在不断输入不同训练模式的同时调整权值，从而使输出模式尽量接近样板模式；后者是无导师学习，它是一种自动聚类过程，通过输入训练模式的加入，不断调整权值以使输出能够反映输入训练模式的分布特点。 ;6.4几种用于模式识别的神经网络模型及其主要算法; 单层感知器 单层感知器（Single Layer Pereceptron，简称为SLP） 可作为分类器。单输出的SLP，其结构就是如图6-1所示的人工神经元。输入的N个元可为连续的或二进制的标量信号。 表示一个维空间的超平面。图6-3表示可由这个超平面对A、B类进行分类。SLP结构的前部分为一线性加权装置(权为 ，附有阀值 )，其输出经一个性能函数为 的硬限幅非线性装置，然后输出到判决器。按当其输入为+1时判属A类；当其输入为-1时判属B类的准则来判类。 ;两类分类处理; 双层感知器 实际上实用的最简单的M类分类的感知器（Pereceptron）也应该是一种双层神经网络模型。它是一个两层前馈神经网络，一层为输入层，另一层具有计算单元，可以通过监督学习建立模式判别的能力，如图6-4所示。;学习的目标是通过改变权值使神经网络由给定的输入得到给定的输出。作为分类器，可以用已知类别的模式向量（向量维数等于输入节点数）作为训练集，当输入为属于第j类的特征向量 时，应使对应于该类的输出神经元的输出为1，而其它输出神经元的输出则为0（或－1）。应使对应于该类的输出神经元的输出为1，而其它输出神经元的输出则为0（或－1）。设理想的输出为： 实际的输出为： 为了使实际的输出逼近理想输出，可以反复依次输入训练集中的输入向量 ，然后计算出实际的输出 ，再对权值 作如下的修改 双层感知器的学习过程与求取线性判别函数的过程是等价的，它只能用于解决线性可分问题。它的特点是学习过程收敛很快，且与初始值无关。; 多层感知器 当类别不能用一超平面完善分割时，需用更复杂结构的感知器，即所谓的“多层感知器”。（Multi-Layer Perceptron，简称为MLP）如果感知器的活化函数具有非线性，则这种网络具有较强的分类能力。多层感知器网是由若干层感知器以及可修正的权连接而构成的多层前馈网络。 ;多层感知器的结构由一个输入层，一个以上隐藏层和一个输出层组成。所有