卷积神经网络的并行化研究[精选].ppt

卷积神经网络并行化研究 卷积神经网络串行实现的不足： 训练时间长 无法处理分布式海量数据 传统单机串行实现的卷积神经网络处理大量数据时性能急剧下降，甚至会因为内存不足而宕机。 卷积神经网络可以并行化的原因 信息主要是由各个结构和功能简单的神经元分散保存和处理。 具有天然的分布式存储和并行处理的特性 在网络训练过程中，训练数据和同层特征图、同层神经元信息处理及训练参数的更新可以同时进行。 相关技术介绍 Hadoop MapReduce：云计算平台上的并行编程模型。 工作流程： 输入阶段 Map阶段 Reduce阶段 输出阶段 相关技术介绍 图1.1 hadhoop MapReduce工作流程 相关技术介绍 CUDA技术 NVIDIA公司2007年提出的 支持其GPU进行通用计算的编程模型和开发环境。 相关技术介绍 图1．2 支持CUDA的GPU架构 相关技术介绍 CPU+GPU架构 卷积神经网络 网络结构 三个结构特征： 局部感受域、权值共享和子采样 卷积神经网络 在线更新： 网络的权值和偏置是在每个样本经过前向传播和反向传播处理之后进行更新的。 批量更新： 网络的权值和偏置是在所有的样本被处理完之后进行更新的。 卷积神经网络的并行化设计与实现 卷积神经网络并行化策略 数据集中各训练样本 每个层(前向和反向) 每层各特征图 特征图上各神经元 神经元各权值 卷积神经网络并行化设计实现 图1.1 hadhoop MapReduce工作流程 卷积神经网络的并行化设计实现 CNN．MR算法设计与实现 表3.1 Map任务计算过程 表3.2 Reduce任务计算过程 卷积神经网络并行化设计实现 表3.3 CNN．MR算法 卷积神经网络并行化设计实现 CNN．MR．G算法 将每一个特征图映射到一个线程块上，特征图上的各个神经元映射到线程块上的各个线程上，即用线程格(grid)的X、Y、Z三个维度分别对应到每层特征图的宽、高、数量上。 卷积神经网络并行化设计实现 图 3.1 线程格与特征图、神经元映射示意图 图3．2 Hadoop平台数据流 图3．3 G．Hadoop平台数据流 卷积神经网络并行化设计实现 表 3.9 CNN．MR．G算法 实验结果及分析 两组对比试验： 第一组将网络单机串行实现与CNN．MR做了性能上的对比 第二组将CNN．MR算法与CNN．MR．G算法做了性能上的对比 实验结果及分析 表4.2 单机串行网络与CNN．MR性能对比 实验结果及分析 图4.2 CNN．MR算法与CNN．MR-G算法在MNIST数据集上的运行时间 实验结果及分析 图4.3 CNN．MR-G算法在不同结点数目下的运行时间 谢谢！