第4章(1神经网络).ppt

第 4 章 计算智能的仿生技术（1）神经计算 第4章 计算智能的仿生技术 4．1 神经计算 4．2 模糊计算 4．3 遗传算法 4．4 人工生命 4.1 神经计算 4.1.1 人工神经网络 4.1.2 反向传播模型BP 4.1.3 反向传播模型实例分析 4.1.4 神经网络专家系统 人脑神经元的形状为： 神经元组成； 树突：神经纤维较短，是接收信息的。 细胞体：对接收到的信息进行处理。 轴突：较长的神经纤维，是发出信息的。 突触：一个神经元的轴突末端与另一个神经元的树突之间密切接触。 神经元具有如下性质： （1）多输入单输出； （2）突触具有加权的效果； （3）信息进行传递； （4）信息加工是非线性。 神经元的数学模型图： 每个神经元的状态Si（i＝1,2,…n）只取0或1，分别代表抑制与兴奋。每个神经元的状态，由M-P方程决定： [0,1]阶梯函数 Hebb规则 若i与j两种神经元之间同时处于兴奋状态，则它们间的连接应加强，即： △Wij＝?SiSj (?＞0) 这一规则与“条件反射”学说一致，并得到神经细胞学说的证实。 设α＝1，当Si＝Sj＝1时，△Wij＝1，在Si，Sj中有一个为0时，△Wij＝0。 (2)误差传播学习：以1986年Rumelhart等人提出的δ规则(BP算法)为典型 δ规则中，误差由输出层逐层反向传至输入层，由误差修改网络权值，直至得到网络权值适应学习样本。 4.1.1.2 神经网络的几何意义 1．神经元与超平面 由n个神经元（j=1,2,…,n）对连接于神经元i的信息总输入Ii为： 其中Wij为神经元j到神经元i的连接权值，?i为神经元的阈值。神经元xj(j=1,2,…,n)相当于n维空间（x1,x2,…,xn）中一个结点的n维坐标（为了便于讨论，省略i下标记）。令： 它代表了n维空间中，以坐标xj为变量的一个超平面。其中wj为坐标的系数，?为常数项。 当n=2时，“超平面”为平面（x1,x2）上的一条直线： 当n=3时，“超平面”为空间（x1, x2,x3）上的一个平面： 从几何角度看，一个神经元代表一个超平面。 2.超平面的作用 n维空间（x1,x2,…,xn）上的超平面I=0，将空间划分为三部分。 （1）平面本身 超平面上的任意结点 满足于超平面方程，即： （2）超平面上部 P 超平面上部P的任意结点满足于不等式，即 （3）超平面下部 Q 超平面下部Q的任意结点满足于不等式，即 3.作用函数的几何意义 神经网络中使用的阶梯型作用函数f（x） 把n维空间中超平面的作用和神经网络作用函数结合起来，即 它的含义为：超平面上部P的任意结点经过作用函数后转换成数值1。超平面上任意结点和超平面下部Q上的任意结点经过作用函数后转换成数值0。 4．神经元的几何意义 通过以上分析可知，一个神经元将其它神经元对它的信息总输入I，作用以后（通过作用函数）的输出，相当于: 该神经元所代表的超平面将n维空间（n个输入神经元构成的空间）中: 超平面上部结点P转换成1类，超平面及其下部结点转换成0类。 结论：神经元起了一个分类作用。 5．线性样本与非线性样本 定义：对空间中的一组两类样本，当能找出一个超平面将两者分开，称该样本是线性样本。 若不能找到一个超平面将两者分开，则称该样本是非线性样本。 4.1.1.3 多层神经网络的分类 1．多个平面的分割将非线性样本变换成线性样本 利用超平面分割空间原理，对一个非线性样本它是不能用一个超平面分割开。 用多个超平面分割空间成若干区，使每个区中只含同类样本的结点。这种分割完成了一种变换，使原非线性样本变换成二进制值下的新线性样本。 一个神经元相当于空间中一个超平面。一个超平面将空间划分为上下两部分，通过作用函数将空间两部分的所有结点（含超平面上结点），分别变换为取二进制值（0或1）的两个点。 三个神经元相当于空间中三个超平面将空间划分成八区（见图4.3），P1面上部为1，下部为0；P2面右部为1，左部为0；P3面前部为1，后部为0。，同一个区的所有结点变换成同一个三位二进制（0或1）的点。空间八区的值为：000,001,010,011,100,101,110,111。 2．多层神经网络的变换作用 BP神经网络模型实质上就是通过至少两层超平面分割（即隐结点层和输出结点层）来完成样本分类的。