《金融大数据分析》-课件 第10章 神经网络.pptx

第10章神经网络金融大数据学习

学习目标掌握人工神经网络的基本概念以及函数形式理解如何使用神经网络进行预测分类以及回归问题了解如何训练神经网络模型以及反向传播的概念了解神经网络的正则化方法熟悉如何使用程序训练以及调用神经网络模型

人工神经网络简介人工神经网络（ArtificialNeuralNetwork）是一种用途广泛的机器学习方法。其结构跟生物的神经结构有类似之处。虽然人工神经网络在二十世纪八十年代就被提出，但是直到十几年前，这种方法才重新得到重视。究其原因是在过去的几十年中，我们的训练数据以及计算机算力都获得了飞跃性的提升，这些发展都为训练复杂的人工神经网络提供了支持。在最近的机器学习研究中，人工神经网络展现了其强大的功能及广泛的应用，在违约预测、图像识别、声音辨识、语言翻译等领域都可得到应用。甚至必威体育精装版的大语言模型也是依赖于神经网络方法。

神经网络的结构图10.1是一个多层的神经网络图示。更具体的说，该神经网络是一个前馈神经网络（Feedforwardneuralnetwork）。这种神经网络结构应用非常广泛，也是更复杂神经网络模型的基础。接下来来我们会用这个图来解释神经网络的构成部分。前馈神经网络的基本结构单元是神经元（Neuron）。神经元被放置在神经网络的不同层里面。接下来，我们对神经网络每个层的功能以及结构进行介绍。

神经网络的结构：输入层输入层是神经网络的第一个层。每一个输入单元代表的是模型的一个特征。因为在该层中我们并不进行任何运算，因此该层中的单元并不是严格意义上的神经元。

神经网络的结构：隐藏层在本图中，我们有两个隐藏层。每一个隐藏层中都有五个神经元。神经元负责处理从上一层输入该神经元的数值。处理完毕后，输出一个数值给下一层的神经元。由于这些神经元的不负责最终的输出，因此我们将这些层称为“隐藏层”。我们可以根据实际情况增加隐藏层的层数以增加模型的复杂度。有的神经网络有十个甚至更多的隐藏层。当我们有多个隐藏层相对较多的时候，我们的神经网络的深度也随之增加。因此层数较多的神经网络有时会被称为“深度神经网络”。这些模型也被称为“深度学习”模型。

神经网络的结构：隐藏层每一个神经元实际代表的是一个函数。该函数将输入的数据转换成输出值。每个神经元都将上一层的输出作为输入值。以图10.1为例，第一个隐藏层中的神经元都连接到四个输入节点，而第二层的神经元都连接到五个处于第一个隐藏层的神经元。我们可以将每一层上的节点的值放到一个向量上。这些向量的第一个元素代表常数项，其他为上一层中得到的数据。如输入层为：

神经网络的结构：隐藏层?

神经网络的结构：隐藏层??1??是一个标量，相当于回归中的常数项（等同于之前回归问题中的??0）。在神经网络中，这个系数经常被称为“偏置”。??1??是一个向量，存储对应输入信息的系数。??1??也被称为“权重”。因此，??1??是一个长度为4的向量。第二个隐藏层的神经元则是以第一个隐藏层的结果??1作为输入：

神经网络的结构：隐藏层??函数被称为激活函数。激活函数可以有多种形式。早期的神经网络中，常用的激活函数是逻辑函数。如图10.2所示该函数的输出值在0与1之间。最近常用的神经网络的激活函数则是整流线性函数（ReLU）。ReLU函数是如下形式：

神经网络的结构：隐藏层如果??0，则??取值为1。如果??的数值不为正，??(??)则输出零。图10.2上也有ReLU函数。ReLU函数的特点是一旦??大于0，那么该函数相当于一个线性函数关于??或??的线性函数，反之则输出0。因此该函数具有非线性的特点。只有输入值达到0的阈值，这个函数才会被“激活”而输出非零值。1正是这种非线性的特点让整个神经网络变得强大，包括让我们的函数可以表示特征之间复杂的交互作用。

神经网络的结构：输出层如果我们需要解决一个分类问题，那么输出函数则可以用逻辑函数来输出一个分类概率：如果我们需要解决的是多分类问题，也可以用软最大化（Softmax）函数作为输出层的函数。

神经网络的结构：输出层如果我们需要解决一个分类问题，那么输出函数则可以用逻辑函数来输出一个分类概率：如果我们需要解决的是多分类问题，也可以用软最大化（Softmax）函数作为输出层的函数。

网络结构的选择神经网络是一类非常灵活的机器学习方法。在实际应用中，我们需要对具体使用的神经网络结构进行选择。除了输入数据的特征外，我们还需要选择隐藏层与输出层的激活函数。另外，我们也需要选择神经网络的层数，以及每一层中的神经元数量。值得注意的是，每一个隐藏层中的神经元数量不需要一致。有研究发现对于相同参数量的神经网络，深度的增加比宽度（即隐藏层中神经元数量）的增加更有利于得