人工神经网络课程.pptVIP

假定样本集给定，那么是的函数。在前面考虑的4层网络中，权值参数的总个数为：那么在加上这一维数，在维空间中，是一个具有极其复杂形状的曲面。如果在考虑样本，其形状就更为复杂，难于想象。从实践和理论上，人们得出了下面三个性质：平滑区域1232.3非线性连续变换单元组成的网络0102(ii).全局最优解不唯一一般情况下，BP算法会收敛到一个局部极小解，即：当，算法以希望误差收敛；当，算法不以希望误差收敛，但可按梯度绝对值小于预定值结束。中的某些元素进行置换依然是全局最优解，这从右边的简单模型可以看出。(iii).局部极小2.3非线性连续变换单元组成的网络2.3非线性连续变换单元组成的网络4.算法的改进(i).变步长算法（是由一维有哪些信誉好的足球投注网站求得）Step1.赋予初始权值和允许误差；Step2.在时刻，计算误差的负梯度（方向）：Step3.若，结束；否则从出发，沿做一维有哪些信誉好的足球投注网站，求出最优步长：Step4.，转Step2。求最优解：对求导数，并令其为零，直接求解：迭代修正法：令步长（学习率）的确定方法：2.3非线性连续变换单元组成的网络为了防止震荡并加速收敛，可采用下述规则：1注意：上式类似于共轭梯度法的算式，但是这里2不共轭。因此可能出现误差增加的现象，即，这时可令，即退回到原来的梯度算法。3(ii).加动量项2.3非线性连续变换单元组成的网络02(iii).加入因子当算法进入平坦区，即，则。为了消除或减弱这种现象，引入因子，使得：(iv).模拟退火方法在所有权上加一个噪声，改变误差曲面的形状，使用模拟退火的机制，使算法逃离局部极小点，达到全局最优而结束。012.3非线性连续变换单元组成的网络2.3非线性连续变换单元组成的网络5.BP网络的设计(i).输入输出层的设计BP网络输入、输出层单元个数是完全根据实际问题来设计的，我们分三种情况讨论：A.系统识别这时输入单元个数为；输入单元个数为。nmB.分类问题若，则令，这样输出层仅需要一个单元。若，则令:这样输出层则需要个单元。二进制编码方法对进行二进制编码，编码位数为2.3非线性连续变换单元组成的网络，这样输出层仅需个单元。1989年，R.Hecht-Nielson证明了任何一个闭区间内的连续函数都可以用一个三层（仅有一个隐层）BP网络来逼近（任意给定精度）。引理2.2任意给定一个周期为的连续函数(ii).隐单元数与映射定理引理2.1任意给定一个连续函数及精度，必存在一个多项式，使得不等式对任意成立。及精度，必存在一个三角函数多项式，使得对于成立。2.3非线性连续变换单元组成的网络2.3非线性连续变换单元组成的网络在维空间中，任一向量都可表示为其中为的一个正交基。同样考虑连续函数空间或，必然存在一组正交函数序列，那么对，则],[bacp2c01当充分大时，对每个成立：02进一步考虑中的多元连续函数：03根据傅立叶级数展开理论，若04则同样存在一个步傅立叶级数和函数：2.3非线性连续变换单元组成的网络2.3非线性连续变换单元组成的网络其中系数为：并且当时，满足即在可以完全收敛达到。现在考虑对一个任意连续映射：其中，则的每个分量也都可以用上面