复数神经网络的一种新型初始权值选择方法.pdf

第28卷第6期 系统工程与电子技术 V01．28No．6 2006年6月 andElectronics Jun．2006 SystemsEngineering 文章编号：i001—506X(2006)06—0929—04 复数神经网络的一种新型初始权值选择方法 张代远 (南京邮电大学计算机学院，江苏南京210003) 摘要：为了改善学习速率，提出了一种确定复数神经网络初始权值的新颖方法。初始权值不是随机给定 的，而是通过计算求得。具体方法是选择一类隐层神经元的变换函数(类支集函数)，将输入层和隐层之间的复数 权值计算出来，保证隐层的输出矩阵是满秩矩阵，并从理论上证明了这样的满秩矩阵是存在的。利用这个满秩矩 阵，通过最小平方算法就可以求得隐层和输出层之间的复数权值。将这些权值作为初始权值，采用最速下降算法 来对神经网络进行训练。初始权值的优化，使得该算法可以有效地提高复数神经网络的训练速度和计算精度。 一个特例是当隐层神经元的个数与样本个数相等时，就可以求得代价函数值为。的全局最小点。计算机仿真实 例验证了该算法的有效性。 关键词：人工智能；复数神经网络；高训练精度；快速学习 中图分类号：TNl83，TPl81文献标识码：A of initializedfor Algorithmchoosing weightstraining neuralnetworks complex—valued ZHANG Dai—yuan Postsand 210003，China) (CollegeofComputerNanjing，Univ．ofTelecommunications，Nanjing Abstract：To novelmethodfor the improvelearningspeed，a properlyinitializing neuralnetworksis hiddenand between trainingcomplex-valued proposed．Thecomplex-valuedweights output arenot calculatedto thatthe matrixofhidden isfull layers randomlypreassigned，butguaranteeoutput layer rank akindofactivationfunctionsinhidden is thatthefull—rankmatrix byusing layer．Theoretically，itproved ofhiddenexists．Thefull—rankmatrixis tofindthe betweenhiddenand layer employed complex-valuedweights theleastmean areusedasinitialized th