第六章 -人工神经网络与深度学习.pptxVIP

人工神经网络与深度学习;人工神经网络是人工智能领域的一个关键节点和基础工具，许多令人赞叹的机器学习的实现就由此而来。;什么是神经网络？;;6.1人工神经网络

;6.1.1神经元与神经网络

;神经元的树突与另外的神经元的神经末梢相连的部分称为突触(Synapse)。突触是其他神经元的轴突与该神经元的树突的接口。轴突是由细胞体向外伸出的最长的一条分支，超过1m。轴突末端的神经末梢将本神经元的输出信号(兴奋)同时传送给多个别的神经元，是神经元细胞的信息输出端。突触是一个神经元与另一个神经元之间相联系并进行信息传送的结构，如图6-2所示。它由突触前成分，突触间隙和突触后成分组成。突触前成分是一个神经元的轴突末梢，突触间隙是突触前成分与后成分之间的距离空间，突触后成分可以是细胞体、树突或轴突。突触的存在说明：两个神经元的细胞质并不直接连通，二者彼此联系是通过突触这种结构相互作用的，是神经元之间的一种连接。;神经网络最早是作为一种主要的连接主义模型。20世纪80年代中后期，最流行的一种连接主义模型是分布式并行处理（ParallelDistributedProcessing，PDP）模型[McClellandetal.,1986]，其有3个主要特性：

1）信息表示是分布式的（非局部的）；

2）记忆和知识是存储在单元之间的连接上；

3）通过逐渐改变单元之间的连接强度来学习新的知识;人工神经元（ArtificialNeuron），简称神经元（Neuron），是构成神经网络的基本单元，其主要是模拟生物神经元的结构和特性，接收一组输入信号并产生输出。

1943年，心理学家McCulloch和数学家Pitts根据生物神经元的结构，提出了一种非常简单的神经元模型，MP神经元[McCullochetal.,1943]。现代神经网络中的神经元和MP神经元的结构并无太多变化。不同的是，MP神经元中的激活函数f为0或1的阶跃函数，而现代神经元中的激活函数通常要求是连续可导的函数。

;假设一个神经元接收D个输入x1,x2,...,xD,令向量x=[x1;x2;...;xD]来表示这组输入，并用净输入Z∈R表示一个神经元所获得的输入信号X的加权和，

;激活函数激活函数在神经元中非常重要的。为了增强网络的表示能力和学习能力，激活函数需要具备以下几点性??：

（1）连续并可导（允许少数点上不可导）的非线性函数。可导的激活函数

可以直接利用数值优化的方法来学习网络参数。

（2）激活函数及其导函数要尽可能的简单，有利于提高网络计算效率。

（3）激活函数的导函数的值域要在一个合适的区间内，不能太大也不能太小，否则会影响训练的效率和稳定性。;激发函数f(.)有多种形式，常用的有如下3种类型;6.1.2神经网络的学习结构

;6.1.2BP神经网络;BP网络的学习过程是这样的，首先，由教师对每一种输入模式设定一个期望输出值，即给出学习样本对，然后将实际输入样本的学习记忆模式送往BP网络输入层，并经由隐含层到达输出层，此过程称为“模式顺传播”。实际得到的输出与期望输出之差即是误差，按照误差平方最小这一规则，由输出层往中间层逐层修正连接权值，此过程称为“误差逆传播”(BackPropagation)。随着“模式顺传播”和“误差逆传播”过程的交替反复进行，网络的实际输出逐渐向各自所对应的期望输出逼近，网络对输入模式的响应的正确率也不断上升，最后达到网络学习的预期目标。BP网是一种反向传递并能修正误差的多层前向网络，BP算法具有明确的数学意义和分明的运算步骤，以样本对误差最小来指导网络的学习方向，是一种具有很强的学习和识别能力的神经网络模型。但是，BP网络本身也存在有局限性，如学习收敛速度太慢、学习记忆具有不稳定性、容易陷于局部极小等。;6.2深度学习;6.2.1深度学习与卷积网络;本章中介绍的卷积神经网络均使用最常见的二维卷积层。它有高和宽两个空间维度，常用来处理图像数据。本节中，我们将介绍简单形式的二维卷积层的工作原理。

虽然卷积层得名于卷积（convolution）运算，但我们通常在卷积层中使用更加直观的互相关（cross-correlation）运算。在二维卷积层中，一个二维输入数组和一个二维核（kernel）数组通过互相关运算输出一个二维数组。;在二维互相关运算中，卷积窗口从输入数组的最左上方开始，按从左往右、从上往下的顺序，依次在输入数组上滑动。当卷积窗口滑动到某一位置时，窗口中的输入子数组与核数组按元素相乘并求和，得到输出数组中相应位置的元素。图6-9中的输出数组高和宽分别为2，其中的4个元素由二维互相关运算得出：

0×0+1×1+3×2+4×3=19,

1×0+2×1+4×2+5×3=25,

3×0+4×1+6×2+7×3=37,

4×0+5×1+7