神经网络专题解读.ppt

* 3.3.3 RBF网络与多层感知器的比较 RBF网络与多层感知器都是非线性多层前向网络，它们都是通用逼近器。对于任一个多层感知器，总存在一个RBF网络可以代替它，反之亦然。但是，这两个网络也存在着很多不同点： ① RBF网络只有一个隐层，而多层感知器的隐层可以是一层也可以是多层的。 ② 多层感知器的隐层和输出层其神经元模型是一样的。而RBF网络的隐层神经元和输出层神经元不仅模型不同，而且在网络中起到的作用也不一样。 * ③ RBF网络的隐层是非线性的，输出层是线性的。多层感知器解决模式分类问题时，它的隐层和输出层通常选为非线性的。当用多层感知器解决非线性回归问题时，通常选择线性输出层。 ④ RBF网络的基函数计算的是输入向量和中心的欧氏距离，而多层感知器隐单元的激励函数计算的是输入单元和连接权值间的内积。 * ⑤ 多层感知器是对非线性映射的全局逼近，而RBF网络使用局部指数衰减的非线性函数（如高斯函数）对非线性输入输出映射进行局部逼近。这也意味着，逼近非线性输入输出映射，要达到相同的精度，RBF网络所需要的参数要比多层感知器少得多。 * 应用实例--手写体数字识别 1. 预处理： 二值化 平滑处理 细化 规范化：规范化和尺寸(大小)规范化 * 2.特征提取 点特征 孤立点或内部点 端点或边界点 连接点 分支点 交叉点 区域笔划方向特征 把输入的待识别字符划分为四个区域，统计区域的水平、垂直、±45 四方向的笔划密度特征（统计穿过笔划的次数） * 3. BP网络结构设计 输入与输出层的设计：输入层结点数即为输入特征向量的维数(19)。输出层的结点数为10,分别代表0,1,…,9十个类别。 隐单元数目的选择： 其中m为输出神经元,n为输入神经元数,a为1~10 取隐单元数为10 4. 学习策略：动量法和学习速度自适应调整的策略 * * 从数学上证明了感知器不能实现复杂逻辑功能,不能解决 非线性分类和高阶谓词等问题。 * 使网络能够提取训练集的统计特性，从而把输入信息按照它们的相似性程度划分为若干类 * 感知器神经网络设计实例 下面给出例题来进一步了解感知器解决问题的方式，掌握设计训练感知器的过程。 [例]考虑一个简单的分类问题。 设计一个感知器，将二维的四组输入矢量分成两类。 输入矢量为：P＝[-0.5 -0.5 0.3 0 ； -0.5 0.5 -0.5 1 ]； 目标矢量为：T＝[1.0 l.0 0 0] * 方程求解 通过前面对感知器图解的分析可知，感知器对输入矢量的分类实质是在输入矢量空间用W*P+b＝0的分割界对输入矢量进行切割而达到分类的目的。 输入矢量为：P＝[-0.5 -0.5 0.3 0 ； -0.5 0.5 -0.5 1 ]； 目标矢量为：T＝[1.0 l.0 0 0] * 感知器求解 采用具有阈值激活函数的神经网络： 设计网络的模型结构； 训练网络权值W＝[w11,w12]和b； 根据学习算法和训练过程进行程序编程； 运行程序，让网络自行训练其权矢量，直至达到不等式组的要求。 所需实现的输入节点r，以及输出节点数，已被问题所确定而不能任意设置。 * 感知器求解 根据题意，网络结构图如图所示。 设置最大循环次数和赋予权值初始值后 利用程序设计语言，根据题意以及感知器的学习、训练过程来编写自己的程序。 * 3.4 反向传播网络 前面讲到的感知器神经网络为单层网络结构，其传递函数都十分简单，感知器为单边符号函数。 推广到多层网络，并且将传递函数变为非线性可微分函数，这就是BP网络。 反向传播网络(Back Propagation Network，简称BP网络)是对非线性可微分函数进行权值训练的多层网络。 * BP网络 由于感知器神经网络中神经元的变换函数采用符号函数，其输出为二值量，因此它主要用于模式分类。 BP网络是一种多层前向反馈神经网络，其神经元的变换函数是S型函数，因此输出量为0到1之间的连续量，它可以实现从输入到输出的任意的非线性映射。 由于其权值的调整采用反向传播（Back propagation）的学习算法，因此被称为BP网络。 * BP神经网络的主要应用 BP网络主要用于： 1)函数逼近：用输入矢量和相应的输出矢量训练一个网络逼近一个函数； 2)模式识别：用一个特定的输出矢量将它与输入矢量联系起来； 3)分类：把输入矢量以所定义的合适方式进行分类； 4)数据压缩：减少输出矢量维数以便于传输或存储。 在人工神经网络的实际应用中，80％～90％的人工神经网络模型是采用BP网络或它的变化形式，是前向网