深度学习案例教程 课件 第3章 简单全连接网络的手写数字识别.pptx

简单全连接网络的手写数字识别第三章

01了解全连接神经网络的发展历程02掌握感知机模型和多层感知机的结构03掌握不同激活函数的定义与区别04掌握反向传播算法的原理、梯度下降法学习目标CONTENTS05能使用神经网络模型实现手写数字识别

01使用神经网络知识分析问题和解决问题02能主动获取必威体育精装版的研究成果和技术发展03提高问题分析和解决问题的能力04培养团队合作和沟通能力素质目标CONTENTS

模型训练模型测试与评估实践任务全连接神经网络模型搭建手写数字数据集处理

第一节手写数字识别任务介绍业务场景与需求当我们在银行办理业务时，可能会遇到需要填写支票或汇票的情况。然而，由于手写的支票和汇票存在着字迹不清晰、写错数字等问题，导致银行工作人员需要花费大量的时间来进行人工识别和分类，同时还可能产生错误。为了解决这个问题，这时需要设计并实现一个手写数字识别模型，以满足系统对于支票、汇票等的自动分类需求，银行可以采用自动化的手写数字识别技术，通过计算机程序来自动识别和分类手写数字，提高业务效率和准确率。

手写数字识别任务介绍技术分析手写数字识别是一个典型的图像分类问题。在传统的方法中，我们需要对数字图像进行特征提取，并使用分类器对提取的特征进行分类。然而，这种方法存在着对特征提取的高要求和对分类器的复杂性要求较高等问题。相比之下，神经网络模型可以直接从原始数据中学习特征，并通过反向传播算法优化模型参数，从而实现高效准确的分类。

手写数字识别任务介绍技术分析全连接网络是基础的神经网络模型之一，它由输入层、隐藏层和输出层构成。输入层接收原始的图像数据，并将其转化为网络可处理的形式，隐藏层通过一系列的线性变换和非线性变换对数据进行特征提取，输出层则将提取的特征与目标标签进行匹配和分类。

手写数字识别任务介绍全连接网络的训练过程通常采用梯度下降算法，即通过最小化损失函数来优化模型参数，从而实现分类的准确性。

手写数字识别任务介绍过拟合是指机器学习模型在训练数据上表现很好，但在新数据上表现不佳的现象。简单来说，就是模型过于依赖于训练数据，无法很好地泛化到新数据。

手写数字识别任务介绍过拟合的解决方法包括：增加更多的训练数据、减少模型的复杂度、使用正则化等方法。这些方法的本质是让模型更好地理解数据的本质规律，而不是过分依赖于训练数据的细节。

手写数字识别任务介绍总之，全连接网络是一种简单而有效的神经网络模型，能够解决手写数字识别等图像分类问题。手写数字识别实现过程如下：

第二节神经网络搭建

前向传播算法前向传播的介绍前向传播(ForwardPropagation)算法是指神经网络向前计算的过程。前向传播算法需要神经网络的输入、神经网络的连接结构，以及每个神经元中的参数。如图所示为一个两层神经网络，假设x1和x2是成绩分类的两个指标，经过该神经网络计算后，从y输出成绩的类别。

前向传播算法(1)为了确认前面的内容，现在用数学式表示a1(1),通过加权信号和偏置的和按如下方式进行计算：此外，如果使用矩阵的乘法运算，则可以将第1层的加权和表示成下面的式子：(2)隐藏层的加权和(加权信号和偏置的总和)用a表示，被激活函数转换后的信号用z表示。这里我们使用的是sigmoid函数。代码如下：Z1=sigmoid(A1)

前向传播算法输出层所用的激活函数，要根据求解问题的性质决定。一般地，回归问题可以使用恒等函数，二元分类问题可以使用sigmoid函数，多元分类问题可以使用softmax函数。在实际建模解成绩及格分类预测问题时，首先随机初始化网络模型的权重和偏置参数，然后每次用训练数据计算得到一个预测值，接下来将预测值步与真实值y比较，如果相差较大，则通过反向传播算法调整参数的取值，以达到优化网络的目的。

第二节激活函数的含义

激活函数Sigmoid函数神经网络中经常使用的一个激活函数就是如图表示的sigmoid函数(sigmoidfunction)。图中的exp(?x)表示??x的意思。e是纳皮尔常数2.7182…。该式子表示的的sigmoid函数看上去有些复杂，但它也仅仅是个函数而已。而函数就是给定某个输入后，会返回某个输出的转换器。神经网络中用sigmoid函数作为激活函数，进行信号的转换，转换后的信号被传送给下一个神经元。

激活函数ReLU函数在神经网络发展的历史上，sigmoid函数很早就开始被使用了，而最近则主要使用ReLU (RectifiedLinearUnit)函数。

激活函数ReLU函数ReLU（RectifiedLine