必威体育精装版第4章(1神经网络)-PPT课件讲学课件.ppt

进入夏天，少不了一个热字当头，电扇空调陆续登场，每逢此时，总会想起那一把蒲扇。蒲扇，是记忆中的农村，夏季经常用的一件物品。记忆中的故乡，每逢进入夏天，集市上最常见的便是蒲扇、凉席，不论男女老少，个个手持一把，忽闪忽闪个不停，嘴里叨叨着“怎么这么热”，于是三五成群，聚在大树下，或站着，或随即坐在石头上，手持那把扇子，边唠嗑边乘凉。孩子们却在周围跑跑跳跳，热得满头大汗，不时听到“强子，别跑了，快来我给你扇扇”。孩子们才不听这一套，跑个没完，直到累气喘吁吁，这才一跑一踮地围过了，这时母亲总是，好似生气的样子，边扇边训，“你看热的，跑什么？”此时这把蒲扇，是那么凉快，那么的温馨幸福，有母亲的味道！蒲扇是中国传统工艺品，在我国已有三千年多年的历史。取材于棕榈树，制作简单，方便携带，且蒲扇的表面光滑，因而，古人常会在上面作画。古有棕扇、葵扇、蒲扇、蕉扇诸名，实即今日的蒲扇，江浙称之为芭蕉扇。六七十年代，人们最常用的就是这种，似圆非圆，轻巧又便宜的蒲扇。蒲扇流传至今，我的记忆中，它跨越了半个世纪，也走过了我们的半个人生的轨迹，携带着特有的念想，一年年，一天天，流向长长的时间隧道，袅;第4章计算智能的仿生技术;[0,1]阶梯函数;神经网络的学习，主要是指通过一定的学习算法或规则实现对突触结合强度(权值)的调整。ANN学习规则主要有四种，即联想式学习、误差传播学习、概率式学习和竞争式学习。

(1)联想学习：联想学习是模拟人脑的联想功能，典型联想学习规则是由心理学家Hebb于1949年提出的学习行为的突触联系，称为Hebb学习规则。

;Hebb规则;(2)误差传播学习：以1986年Rumelhart等人提出的δ规则(BP算法)为典型

δ规则中，误差由输出层逐层反向传至输入层，由误差修改网络权值，直至得到网络权值适应学习样本。;4.1.1.2神经网络的几何意义

1．神经元与超平面

由n个神经元（j=1,2,…,n）对连接于神经元i的信息总输入Ii为：

其中Wij为神经元j到神经元i的连接权值，?i为神经元的阈值。神经元xj(j=1,2,…,n)相当于n??空间（x1,x2,…,xn）中一个结点的n维坐标（为了便于讨论，省略i下标记）。令：

它代表了n维空间中，以坐标xj为变量的一个超平面。其中wj为坐标的系数，?为常数项。;当n=2时，“超平面”为平面（x1,x2）上的一条直线：

当n=3时，“超平面”为空间（x1,x2,x3）上的一个平面：

从几何角度看，一个神经元代表一个超平面。;2.超平面的作用

n维空间（x1,x2,…,xn）上的超平面I=0，将空间划分为三部分。

（1）平面本身

超平面上的任意结点满足于超平面方程，即：

;（2）超平面上部P

超平面上部P的任意结点满足于不等式，即

（3）超平面下部Q

超平面下部Q的任意结点满足于不等式，即

;3.作用函数的几何意义

神经网络中使用的阶梯型作用函数f（x）

把n维空间中超平面的作用和神经网络作用函数结合起来，即

它的含义为：超平面上部P的任意结点经过作用函数后转换成数值1。超平面上任意结点和超平面下部Q上的任意结点经过作用函数后转换成数值0。;4．神经元的几何意义

通过以上分析可知，一个神经元将其它神经元对它的信息总输入I，作用以后（通过作用函数）的输出，相当于:

该神经元所代表的超平面将n维空间（n个输入神经元构成的空间）中:

超平面上部结点P转换成1类，超平面及其下部结点转换成0类。

结论：神经元起了一个分类作用。

5．线性样本与非线性样本

定义：对空间中的一组两类样本，当能找出一个超平面将两者分开，称该样本是线性样本。若不能找到一个超平面将两者分开，则称该样本是非线性样本。

;4.1.1.3多层神经网络的分类;;;2．多层神经网络的变换作用;4.1.1.4感知机模型(Perceptron)

神经元i的输入为

Ｉi＝∑ＷijＳj

Ｓj为j神经元的输出，Ｗij为神经元j到神经元i的连接权重。;神经元i的输出为：

Ｏi＝ｆ（Ｉi）

其中ｆ（ｘ）为神经元作用函数。（一般采用[0,1]阶梯函数）

设i神经元的期望输出为Ｄi，它与计算输出Ｏi之差为：

δｉ＝Ｄi－Ｏi

通过样本学习，应该让权重Ｗij使δi尽可能小。利用著名的德尔塔规则（deltarule）计算：

△Ｗij＝αδiＳj（α为常数）

δ规则:

Ｗij(t+1)＝