小组CNN卷积神经网络基本概念与案例讲解.pptx

基于卷积神经网络的股票预测;;;1.1 引例-图像边界检测; “卷积”过程：用filter，往原图片上覆盖，对应元素相乘，然后求和。计算一个区域之后，就向其他区域挪动，接着计算，直到把原图片的每一个角落都覆盖到了为止。;? CNN（convolutional neural network），主要就是通过一个个的filter，不断地提取特征，从局部的特征到总体的特征，从而进行图像识别等等功能。 ?每个filter中的各个数字就是参数，可以通过大量的数据，来让机器自己去“学习”这些参数。这就是CNN的基本原理。;;;1.4 CNN基本结构;;1.4.1 卷积层;1.4.1 卷积层;1.4.1 卷积层;1.4.1 卷积层;1.4.1 卷积层;1.4.1 卷积层;1.4.1 卷积层;1.4.1 卷积层;1.4.1 卷积层;1.4.1 卷积层;1.4.1 卷积层;1.4.1 卷积层;1.4.1 卷积层;1.4.2 池化层;1.4.2 池化层;1.4.2 池化层; 全连接层中的每个神经元与其前一层的所有神经元进行全连接。全连接层可以整合卷积层或者池化层中具有类别区分性的局部信息 。为了提升 CNN 网络性能，全连接层每个神经元的激励函数一般采用 RELU 函数。最后一层全连接层的输出值被传递给一个输出层，可以采用 softmax 逻辑回归进行分类，该层也可称为 softmax 层。 卷积层和池化层的输出代表了输入图像的高级特性，而全连接层的目的就是类别基于训练集用这些特征进行分类, 连接所有的特征，将输出值送给分类器（如 softmax 分类器）。; CNN典型网络;ImageNet图像识别;;2.1 LeNet-5 ;2.1 LeNet-5;2.2 ALexNet;2.2 ALexNet;2.2 ALexNet;2.3 ZFNet;2.3 ZFNet;2.4 VGG Net;2.5 GoogleNet;2.5 GoogleNet;2.5 GoogleNet;2.6 RestNet(残差网络);2.6 RestNet(残差网络);2.6 RestNet(残差网络);;。;;2.卷积层前向传播过程： 我们设定输入为15个神经元的图片，卷积核为2×2×1的网络，即卷积核的权值为W1，W2，W3，W4。卷积核采用步长为1的卷积方式。;3.池化层前向传播过程： 上一层（卷积层）提取的特征作为输入传到池化层，通过池化层的池化操作，降低数据的维度。池化方式主要有三种：最大池化、均值池化、随机池化。;4.全连接层的向前传播： 特征图进过卷积层和池化层的特征提取之后，将提取出来的特征传到全连接层中，通过全连接层，获得分类模型。;3.3反向传播（BP）;3.DNN反向传播算法：;?;?;1.CNN中的反向传播与DNN中的不同点： 1） 池化层在前向传播的时候，对输入进行了压缩. 2） 卷积层是通过张量卷积，或者说若干个矩阵卷积求和而得的当前层的输出， DNN的全连接层是直接进行矩阵乘法得到当前层的输出. ;;3.当某层是池化层时（ δl 已知）： 在前向传播算法时，池化层一般我们会用MAX或者Average对输入进行池化。现在我们反过来要从缩小后的误差δl，还原前一次较大区域对应的误差。我们首先会把δl的所有子矩阵矩阵大小还原成池化之前的大小。以Average为例，需要把δl的所有子矩阵的各个池化局域的值取平均后放在还原后的子矩阵位置。这个过程一般叫做upsample。 ;?;4.当某层是卷积层时δl 已知： 之前介绍的卷积层的前向传播可以用下面的公式来表示： 将其展开，得到zij与wij之间的关系： ;5.卷积层参数（w,b）的梯度： 已经知道了每一层的δl，去推导该层W,b的梯度。因为池化层没有W，b所以我们只需要求卷积层参数的梯度,全连接网络的情况已经在之前介绍了。我们直接给出卷积层（w,b）的梯度: 其中（a）ij矩阵是我们将要进行卷积的输入向量。 至此，我们得到了每一层参数得梯度，通过批量梯度下降法，可以得到更新后得权重，当迭代到给定得步数或者误差小于给定阈值，训练结束。得到了一个CNN训练模型。 ;;;4.2.1股票预测定义;4.2.2影响股票价格因素;4.3.1股票预测方法;;4.3.3神经网络预测方法;4.3.4卷积神经网络预测方法;4.4股票预测步骤;CNN for Stock Trading;5.1数据获取;;5.3数据预处理;5.4问题描述;5.5图像数据采样;5.6定义响应变量;5.6定义响应变量;5.7模型结构;5.8训练过程;5.9特征可视化;;思考题