非线性分类器及神经网络报告.ppt

④从后向前计算各隐层δj （反向） ⑤计算并保存各权值修正量 ⑥修正权值 t =t+1，输入新的样本(或新的周期样本)，直到误差达到要求，训练结束。训练时各周期中样本的输入顺序要重新随机排序。 这是对每个样本作权值修正。也可对全部样本计算dj后求和，按总误差修正权值，称为批处理方法。 4. BP算法示例： 用BP算法求解异或问题(XOR) ⑴神经网络结构MLP2:2:1 输入节点2个(x1,x2), 隐节点2个(y1 , y2)， 输出节点1个(z) 。 ⑵计算机运行结果 ①迭代次数：16745次；总误差：0.05 ②隐层网络权值和阈值： w11=5.24, w12=5.23, w21=6.68, w22=6.64 q1=8.01, q2=2.98 ③输出层网络权值和阈值 T1 =－10, T2 =10, f＝4.79 输入x1 x2 输出 z 0 0 0 0 1 1 1 0 1 1 1 0 ⑶用计算结果分析神经网络的意义 ①隐层节点代表的直线方程 直线y1 , y2将平面分成三个区域 对4个样本点： 点(0,0)落入y2 下方, 经隐层节点的函数 f (x)(即上式)，得到y1 =0， y2 =0 ； 点(1,0),(0,1)落入y1 , y2之间，经隐层节点的函数 f(x)，得到 y1 =0, y2 =1； 点(1,1)落入y1 上方，经隐层节点的函数 f(x)，得到 y1 =1, y2 =1 结论：隐层节点将平面上四个非线性样本点变成三个线性样本点(0,0),(1,0), (1,1)。 ②输出节点代表的直线方程 直线将平面(y1 , y2)分为两个区。 对样本点 样本点(0,1)在z线的上方，经输出节点的函数 f(x)(阶跃函数)，得到 z=1； 样本点(0,0)(1,1)在z线下方，经输出节点的函数 f(x)，得到 z=0。 结论：输出节点将平面上的三个样本变成两类样本。 ⑷ 神经网络节点的作用 ① 隐层节点将原非线性4个样本变成线性3个样本。 ② 输出节点将线性样本(3个)变成两类(1或0)。 输出的f (x)函数为阶跃函数。隐层的f(x)一般为S型函数。 ⑸ 超平面(直线)特性 ①隐层节点直线特性 y1 , y2平行，且平行于过(1,0),(0,1)点的直线 L: x1+x2－1=0 y1位于点(1,1)到L的中间位置附近(q1 =1.53)。 y2位于点(0,0)到L的中间位置附近(q2 =0.45)。 阈值可在一定范围内变化 1.0≤q1 2，0≤q2 1.0 其分类效果相同，神经网络的解不是唯一的。 ②输出节点的直线特性 z平行于直线p, 并位于点(0,1)到p的中间(f=0.48),阈值可在一定范围变化(0≤f 1)，分类效果相同。 y1-y2=0 5. BP算法的特点及其改进 ⑴特点： BP算法解决了单词感知器无能为力的非线性可分模式的分类问题，广泛用于模式识别和自动控制等应用领域。 BP网络本质上是输入到输出的映射，不需输入输出间精确的数学表达式(模型-无关)，只要用已知的模式样本对BP网络加于训练，网络就具有输入输出对之间的映射能力。 BP算法的关键在于中间隐层的学习规则，而中间隐层相当于对输入信息的特征抽取器。 ⑵BP算法的不足 从数学上看它是一个非线性优化问题，就存在局部极小问题。 收敛速度慢，一般要迭代几千次或更多，通常只能用于离线的模式识别问题。 BP网络是前馈网络，运行单向传播，没有反馈。输入-输出间的关系不是非线性动力学系统，而只是映射。 隐层数和隐层的神经元个数的选择尚无理论指导，而是凭经验选取。 新加入的样本要影响到已学习完的样本，且样本特征数要相等。 ⑶改进BP算法： ①使用动力项，加快收敛速度 ②修改激活函数 E样本平均误差(或准则函数J)，t 迭代次数 ③学习系数h 的自适应调整 §5 支持向量机SVM(非线性情况) 在第四章中，广义线性判别函数是通过构造新的高维特征向量，这样可用线性判别函数解决非线性问题。 同样建立非线性支持向量机可分两步： ①将非线性样本，从d维空间转换到k维空间