大模型原理与技术-课件 chap2 深度学习基础.pptx

第2章深度学习基础魏明强、宫丽娜计算机科学与技术学院智周万物?道济天下

o神经网络基础l神经网络l卷积神经网络o损失函数和优化算法l损失函数l优化算法o神经网络训练l梯度和链式法则l前向传播和反向传播l训练神经网络示例o深度学习框架l主流深度学习框架l框架选择和优缺点比较o思考 目录2

3 目录o神经网络基础l神经网络l卷积神经网络o损失函数和优化算法l损失函数l优化算法o神经网络训练l梯度和链式法则l前向传播和反向传播l训练神经网络示例o深度学习框架l主流深度学习框架l框架选择和优缺点比较o思考

神经网络基础神经网络o人工神经元人工神经网络（ArtificialNeuralNetwork，ANN），简称为神经网络（NeuralNetwork：NN），是指一系列受生物学和神经科学启发的数学模型。人工神经元，简称为神经元，是构成神经网络的基本单元。单个神经元计算过程单层神经网络计算过程要想模拟人脑具有的能力，单一神经元是远远不够的，需要众多神经元的协作来完成复杂任务，即神经网络。在得到单层神经网络的输出之后，可以通过叠加类似的层来构建每层都包含若干神经元的多层神经网络。

神经网络基础神经网络o激活函数激活函数（ActivationFunction）是神经网络中的一种非线性变换，它赋予神经元更强大的表达能力。如果不使用激活函数，则每层的操作只是对上一层的输出结果进行线性变换，多层神经网络会退化成单层神经网络。lSigmoid函数lTanh函数lSoftmax函数lReLU函数通常用于二分类问题的输出层。通常用于多分类问题的输出层。通常用于中间层或输出层。广泛应用于隐藏层，其简单性和非饱和性使其在大多数情况下表现良好。

神经网络基础神经网络o全连接神经网络在全连接神经网络中，每个神经元与前一层的所有神经元相连接，形成一个完全连接的结构。它的基本组成包括输入层（InputLayer）、若干隐藏层（HiddenLayer）和输出层（OutputLayer）。输入层接收原始数据或特征作为网络的输入，每个输入神经元对应于数据或特征的一个维度。隐藏层位于输入层和输出层之间，进行特征的非线性变换和抽象。每个隐藏层包含多个神经元，每个神经元与前一层的所有神经元相连接。多个隐藏层的存在使得网络能够学习更加复杂和抽象的表示。输出层产生网络的最终输出。全连接神经网络在一些任务上表现良好，但随着问题复杂性的增加，更深层次、更复杂结构的神经网络逐渐取代了全连接神经网络。这是因为全连接神经网络在参数数量和计算复杂度上容易受到限制，而深度学习任务通常需要更强大的神经网络结构。

o神经网络基础l神经网络l卷积神经网络o损失函数和优化算法l损失函数l优化算法o神经网络训练l梯度和链式法则l前向传播和反向传播l训练神经网络示例o深度学习框架l主流深度学习框架l框架选择和优缺点比较o思考 目录2

神经网络基础卷积神经网络o感受野1962年，生物学家D.H.Hubel和T.N.Wiesel对猫的视觉系统进行了研究，猫的视觉系统实验示意图如图2.5所示。他们首次发现了在猫的视觉皮层中存在两种主要类型的神经元，即简单细胞和复杂细胞。这两种类型的细胞对边缘和纹理的敏感性有所不同。神经元对视野中的某一小块区域内的特定边缘或纹理更为敏感，反映了感受野的特性。感受野（ReceptiveField）描述了神经系统中一些神经元对于特定刺激区域的敏感性，这意味着神经元只对其支配区域内的信号做出响应。在视觉神经系统中，视觉皮层中的神经细胞的输出受到视网膜上光感受器的影响，即当视网膜上的光感受器受到刺激并兴奋时，会产生神经冲动信号并传递到视觉皮层。然而，并非所有视觉皮层中的神经元都会接收这些信号。每个神经元都有其特定的感受野，即只有视网膜上特定区域内的刺激才能激活该神经元。

神经网络基础卷积神经网络o卷积神经网络卷积神经网络（ConvolutionalNeuralNetwork，CNN）的设计灵感正是源自生物学中感受野的机制。卷积神经网络模仿了生物学中神经元对于刺激的局部敏感性。它通过学习局部特征，逐渐建立对整体特征的抽象。它在处理空间结构化数据和视觉数据方面的能力使其在自然语言处理、计算机视觉等领域都发挥着重要作用。下图展示了第一个诞生的卷积神经网络LeNet-5的网络结构，该网络用于手写数字识别任务。LeNet-5由卷积层、池化层及全连接层组成，它的设计为后续卷积神经网络的发展奠定了基础。

神经网络基础卷积神经网络o卷积卷积运算通过滑动一定间隔的卷积核（也称为滤波器）窗口，计算对应位置的元素相乘再求和，得到输出特征图