第1章 神经网络1-BP网络1(n).docVIP

  1. 1、本文档共17页,可阅读全部内容。
  2. 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
  5. 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
  6. 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们
  7. 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
  8. 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
第一章 前传网络 12 1.1 线性感知器 12 1.1.1 概述 12 1.1.2 线性感知器 13 1.2 BP网络 17 1.3 BP网络的应用 23 1.3.1 手写ZIP码识别 23 1.3.2 图像压缩 24 1.3.3 股票预测 25 第一章 前传网络 1.1 线性感知器 1.1.1 概述 1.1给出了一个简单的单层前传网络(神经元)的示意图。它也是许多更复杂的神经网络的基本构件之一。神经元对外界传入的个信号经权值向量处理后,用线性求和器得到“综合印象”,再由活化函数对此综合印象作出非线性反应。这种反应机制是对真正的生物神经元反应机制的一种简单而又常常有效的模拟。将大量简单神经元按某种方式连接起来,并通过某种学习过程确定单元之间的连接强度(权值),就得到各种人工神经网络,用来完成逼近、分类、预测、控制和模拟等各种任务。 图1.1 神经元模型 设给定J个输入样本模式, 其中,以及理想输出。另外,给定一个非线性函数。单层前传网络(神经元)的学习过程就是利用样本模式,通过某种学习算法来选择权向量和阈值,使得 (1.1.1) 其中为网络的实际输出。 然后,我们就可以向网络输入中其它模式向量, 得到相应输出,这就是神经网络的工作过程。 (1.1.1)中的函数称为活化函数,常见的有符号函数及其逼近、型函数(Sigmoid函数)、径向基函数、随机值函数等等。网络的输出值及理想输出可以只取有限个离散值(例如双极值±1或二进制0,1), 这时网络相当于一个分类器;也可以取连续值,这时网络相当于输入与输出之间函数关系的一种数值逼近器。当存在和使(1.1.1)成立时,我们说该问题是可解的,或样本模式是可分的。否则,称为不可解的,或不可分的;这时只能选取和使得误差尽可能地小。 1.1.2 线性感知器 1.1 令, , 将一起作为新的权值来进行选择, 于是(1.1.1)中的定义可以更紧凑地写成 (1.1.2) 下面,我们在(1.1.1)中取为如下符号函数 (1.1.3) 且理想输出取值亦为。(也可以考虑符号函数的取值为0,1。 一般地说,取值为0,1时电路实现方便,而取时数学处理比较简单。)对输入样本模式,网络实际输出为 (1.1.4) 此时,式(1.1.4)所表示的神经网络称为线性感知器。 图1.2 符号函数(函数值为{0,1}或{1,-1}) 注1.2 (1.1.4)中主要的运算为便于并行处理的向量乘法。另一方面,除了在原点附近,符号函数(以及后面将要用到的符号函数的各种逼近)对于自变量的变化并不敏感,即容错性好。事实上,各种神经网络用到的主要运算就是向量乘法,并且广泛采用符号函数及其各种逼近。典型的神经网络都可以用电路、光路等硬件来实现(参见[Murray 1997][戴葵1998]);这时不论多大,(1.1.4)中的向量乘法所需的时间基本不变(参看图1.1),使得便于并行处理的特点更加突出。并行、容错、可以硬件实现以及后面将要讨论的自我学习特性,是神经网络的几个基本优点,也是神经网络计算方法与传统计算方法的重要区别。当然神经网络也可以用计算机模拟实现,尤其对于只需进行一次的学习过程,这时并行的优点就不突出了。 以为例。线性感知器的目标就是求法向量和阈值,使得与垂直的直线(一般地是维超平面)将样本模式分成和(即和)两类,分别位于的两侧(见图1.3)。 图1.3 用线性感知器分类 图1.4给出另一种等价的几何解释。定义(参见注1.1),则线性感知器的目标成为:选取使 (1.1.5) 如图1.4,设,张成包含的最小扇形域,是其张开的角度。于是,角度差刻画了(从而)的可分性。若,则不可分;若,则可分(对线性感知器,常称为线性可分)。并且越大,可分性越好(即的允许范围越大)。 图1.4 的可分性 注:点是满足的那些样本点经过变换得到的。 容易证明,若线性无关, 则一定是线性可分的。在图1.5和1.6中给出线性不可分的两个典型例子, 其中图1.5所描绘的即为著名的XOR问题。 图1.5 XOR问题 图1.6 线性不可分 权向量是通过学习得到的。下面给出所谓感知器学习规则。为简便起见, 在本章其余地方,我们总假设(参见注1.1)。 输入一个样本向量,得到网络的当前实际输出,然后按下式修改当前权

文档评论(0)

精品文库 + 关注
实名认证
文档贡献者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档