人工智能与大数据技术：基于神经网络的智能系统IIPPT教学课件.pptx

|人工智能与大数据技术|项目9基于神经网络的智能系统Ⅱ

PART01神经网络的架构PART02简单的分类手写数字网络PART03识别单个数字PART04使用梯度下降算法解决复杂运算问题目录CONTENTSPART05实现

神经网络的架构第一部分PART01

神经网络的架构S型神经元怎样给一个神经网络设计合适的算法是解决人工智能的核心问题之一。假设我们有一个感知器网络，想要用它来解决一些问题（如输入手写数字输出识别数字），我们就需要网络能学习权重和偏置，这样网络就能正确分类输出这些数字。例如，假设网络错误地把一个“9”的图像分类为“8”。我们能够计算出怎么对权重和偏置做些小的改动，这样网络能够接近于把图像分类为“9”。然后我们要重复这个工作，反复改动权重和偏置来产生更好的输出，这时网络就在学习。虽然数字9可能被正确地识别和分类，但网络在其它图像上的行为很可能以一些很难控制的方式被完全改变。这使得逐步修改权重和偏置来让网络接近期望行为变得困难，因此这并不是一个让感知器网络去学习的最优解。

神经网络的架构在这里我们可以引入一种称为S型神经元的新的人工神经元来克服这个问题。S型神经元和感知器类似，但是被修改为权重和偏置的微小改动只引起输出的微小变化。与感知器相同，S型神经元有多个输入，即x1,x2,……。但是这些输入可以取0和1中的任意浮点值，而不仅仅是0或1。同样，S型神经元对每个输入有权重，即w1,w2,……，和一个总的偏置b。但是其输出不是0或1。相反，它现在是σ(w*x+b)，这?σ被称为S型函数，定义为：σ(z)≡1/（1+e-z）把它们放在一起来更清楚地说明，一个具有输入x1,x2,...，权重w1,w2,...，和偏置b的S型神经元的输出是：1/[1+exp(?∑jwjxj?b)]

神经网络的架构乍一看S型神经元和感知器有很大的差别。实际上，感知器和S型神经元之间有很多相似的地方，S型函数的代数形式具有很多技术细节。假设z≡w*x+b是一个很大的正数。那么e?z≈0而σ(z)≈1。即，当z=w*x+b很大并且为正，S型神经元的输出近似为1，正好和感知器一样。相反地，假设z=w*x+b是一个很大的负数。那么e?z趋近于无穷，σ(z)≈0。所以当z=w*x+b是一个很大的负数，S型神经元的行为也?常近似一个感知器。只有在w*x+b取中间值时，和感知器模型有比较大的偏离。

神经网络的架构关于S型神经元的输出，很明显，感知器和S型神经元之间一个很大的不同就是S型神经元不仅仅输出0或1，它可以输出0和1之间的任何实数。σ函数绘制的形状是这样的：

神经网络的架构设计网络的输入输出层通常是比较直接的。假设我们尝试确定一张手写数字的图像上是否写的是“9”，正常情况下，我们可以将图片像素的强度进行编码作为输入神经元来设计网络。如果图像是一个64*64的灰度图像，那么我们会需要4096个输入神经元，每个强度取0和1之间合适的值。输出层只需要包含一个神经元，当输出值小于0.5时表示“输入图像不是9”，大于0.5的值表示“输入图像是9”。本书中，我们讨论的神经网络都是以上一层的输出作为下一层的输入，这种网络被称为前馈神经网络。前馈神经网络意味着信息总是向前传播，网络中不存在回路。

简单的分类手写数字网络第二部分PART02

简单的分类手写数字网络我们可以把识别手写数字的问题分成两个子问题。首先，我们希望有个方式把包含许多数字的图像分割成一系列单独的图像，每个包含单个数字。对于计算机程序来说是个挑战：一旦图像被分割，那么程序需要把每个单独的数字分类。另一个问题，也是我们将专注于编程解决的问题，分类单独的数字。这么做是因为，一旦你有分类单独数字的有效方法，分割问题是不难解决的。一种有效的方法是尝试不同的分割方式，用数字分类器对每一个切分片段打分，如果数字分类器对每一个片段的置信度都比较高，那么这个分割方式就能得到较高的分数；如果数字分类器在一或多个片段中出现问题，那么这种分割方式就会得到较低的分数。这种方法的思想是，如果分类器有问题，那么很可能是由于图像分割出错导致的，这种思想以及它的变化形式能够比较好地解决分割问题。

简单的分类手写数字网络MNIST数据库是一个非常经典的数据集，就像我们学编程起初写一个“HelloWord”的程序一样，学深度学习及神经网络就会写识别MNIST数据集的Model。MNIST数据集是由0~9手写数字图片和数字标签所组成的，由60000个训练样本和10000个测试样本组成，每个样本都是一张28*28像素的灰度手写数字图片。

简单的分类手写数字网络t10k-images-idx3-ubyte.gz(3)测试集图片（1648877字节），10000张图片t10k