神经网络到卷积神经网络原理与实践.docx

卷积神经网络研究及其在基音检测中的应用 PAGE \* MERGEFORMAT20 PAGE \* MERGEFORMATIII 神经网络 到 卷积神经网络 推导与实践 摘 要 卷积神经网络(Convolutional Neural Network, CNN)是一种源于人工神经网络(Neural Network, NN)的深度机器学习方法，近年来在图像识别领域取得了巨大的成功。CNN由于采用局部连接和权值共享，保持了网络的深层结构，同时又大大减少了网络参数，使模型具有良好的泛化能力又较容易训练。NN的训练算法是基于梯度下降的错误反向传播（Back Propagate，BP）算法，CNN的训练算法是BP算法的一种变形。本文从梯度下降的数学推导中总结了NN训练过程中的错误信号传播和权重修改策略，用切割小图训练共权神经网络的方式解释了CNN中的卷积过程，并以特殊卷积的方式解释了CNN的子采样过程，最后将NN的错误信号传播和权重修改策略移植到CNN的训练中。我们将推导出的CNN训练方法用C++编码实现，用CNN应用最早最典型的手写数字识别问题验证被编码的推导过程，得到了正确的效果。  目 录  TOC \o 1-3 \h \z \u   HYPERLINK \l _Toc427581127 摘 要  PAGEREF _Toc427581127 \h I  HYPERLINK \l _Toc427581128 目 录  PAGEREF _Toc427581128 \h I  HYPERLINK \l _Toc427581129 图目录  PAGEREF _Toc427581129 \h III  HYPERLINK \l _Toc427581130 第三章 神经网络与卷积神经网络  PAGEREF _Toc427581130 \h 1  HYPERLINK \l _Toc427581131 3.1 神经网络  PAGEREF _Toc427581131 \h 1  HYPERLINK \l _Toc427581132 3.1.1 单层感知机  PAGEREF _Toc427581132 \h 3  HYPERLINK \l _Toc427581133 3.1.2单输出多层感知机  PAGEREF _Toc427581133 \h 7  HYPERLINK \l _Toc427581134 3.1.3多输出多层感知机  PAGEREF _Toc427581134 \h 8  HYPERLINK \l _Toc427581135 3.2卷积神经网络  PAGEREF _Toc427581135 \h 10  HYPERLINK \l _Toc427581136 3.2.1卷积神经网络的常用结构  PAGEREF _Toc427581136 \h 11  HYPERLINK \l _Toc427581137 3.2.2卷积与子采样  PAGEREF _Toc427581137 \h 12  HYPERLINK \l _Toc427581138 3.2.3卷积与权值共享  PAGEREF _Toc427581138 \h 13  HYPERLINK \l _Toc427581139 3.2.4 CNN训练过程中的三次卷积过程  PAGEREF _Toc427581139 \h 14  HYPERLINK \l _Toc427581140 3.2.5卷积的作用  PAGEREF _Toc427581140 \h 17  HYPERLINK \l _Toc427581141 3.3 卷积神经网络实践  PAGEREF _Toc427581141 \h 18  HYPERLINK \l _Toc427581142 3.4 本章小结  PAGEREF _Toc427581142 \h 19  HYPERLINK \l _Toc427581143 第六章 总结与展望  PAGEREF _Toc427581143 \h 20   图目录  TOC \h \z \t 题注,表题注 \c  HYPERLINK \l _Toc427581109 图3.1神经元的结构[24]  PAGEREF _Toc427581109 \h 2  HYPERLINK \l _Toc427581110 图3.2神经元之间的连接[25]