基于分布式并行计算的神经网络算法.pdf

No．2 第32卷第2期 系统工程与电子技术 V01．32 2010年2月 Systems andElectronics 2010 Engineering February 文章编号：1001-506X(2010)02—0386—06 基于分布式并行计算的神经网络算法 张代远1’2 (1．南京邮电大学计算机学院，江苏南京210003； (2．南京邮电大学计算机技术研究所，江苏南京210003) 摘 要：为了提高计算性能(速度与可扩展性)，提出了一种新颖的神经网络的并行计算体系结构和计算网络 权函数的训练算法。权函数是广义Chebyshev多项式和线性函数的复合函数，只需要通过代数计算就可以求得， 不需要梯度下降计算或者矩阵计算。各个权函数能够独立求解，可以通过并行系统采用并行算法计算。算法可 以求得全局最优点，得到反映网络误差的一个有用的表达式。此外，算法在不超过权函数总数的范围内，还具有 维持加速比与并行系统中提供的处理器的数量成线性增长的能力。仿真实验结果表明，本文算法的计算性能远 远优于传统算法。 关键词：神经网络；并行计算；权函数；Chebyshev多项式；可扩展性 中图分类号：TP183；TP301 文献标志码：A forneuralnetworksbasedon algorithm Training distributedcalculation parallel ZHANG Dai—yuanl·2 Postsand 210003，China； (I．Coll．ofComputer，NanjingUniv．of Telecommunications，Nanjing and 210003，China) (2．Inst．ofComputerTechnology，NanjingUniv．ofPostsTelecommunications，Nanjing Abstract：To and innovative improvecomputingperformance(speedscalability)，anparallelcomputation for functionisa architectureanda neuralnetworksare trainingalgorithm proposed．Eachweight composite functionofa andalinear calculationisneeded，and generalizedChebyshevpolynomial function。onlyalgebraic no isinvolvedforthecalculationsuchasthe descent—like or