5 第五章 神经网络.PPT

* * * * * * * 神经网络学习就是不断调整权重的过程。 训练之前，必须将数据集分为训练数据集和测试数据集，将权重指定给第一层的神经元。 大多数软件包使用向后传播方法(Back propagation)，任何一种后向传播算法的最重要部分都是使用误差度量来调整权重。 后向传播神经网络通过更新权重和偏置使得网络预测的误差达到最小。具体步骤如下： 通过输入节点将输入变量加以标准化，标准化后的变量数值落在0和1之间，或者是-1和1之间。 将网络权重初始值设定为0（或随机产生）。通过各节点的函数，估计数据的目标变量值。 * 六、权重和偏置的调整 比较实际值和估计值之间的误差，并根据误差值重新调整各权重和偏置。 重新执行第二步骤，反复执行，一直到实际值和估计值之间的误差值最小，此时才停止学习，此时获得最佳权重。 * * 举例说明权重和偏置的调整过程 1、首先利用随机的方式，产生各神经元间的权重，以及隐藏层与输出层神经元的偏置。 * w14 w15 w24 w25 w34 w35 w46 w56 0.2 -0.3 0.4 0.1 -0.5 0.2 -0.3 -0.2 θ4 θ5 θ6 -0.4 0.2 0.1 2、根据输入信号，计算各隐藏层神经元的输出信号，假设输入的样本是(X1,X2,X3,Y)=(1,0,1,1)。 神经元4： 神经元5： * 3、根据隐藏层输出信号，计算输入层神经元的输出信号。 神经元6 * 4、此时，输出值0.474与真值1不一致，我们可以计算神经元6的误差项。 神经元6的误差项： 5、将此误差项反馈至隐藏层，此时可以计算隐藏层神经元误差值。 神经元4误差项： 神经元5误差项： * 6、最后根据神经元误差项，更新各神经元的权重以及偏置，假设学习速率为0.9。 * 学习速率：通常是介于0～1之间，当其数值越大，每次权数的修正量就越大。不能太小或太大。经验设置为1/t，t为迭代次数。 目前调整权重的方法是一种最陡坡降法。 如此，即达成一个学习循环的类神经网络权重修正，接下来持续此步骤，使得输出值越来越接近真值，从而达到建立模型的目的。 另外，根据理论当学习时间无限长时，误差应该会无限接近于零。但事实上，如果当模型训练越久，就有可能出现过度拟合的问题，因此一般有两种方法来处理： 设定阀值。 使用测试样本。一般，测试组误差一开始会随着上述误差的减小而减小，但当过度拟合现象发生时，测试组的误差会开始从小到大变化。 * 七、类神经网络的优点 类神经网络可以建构非线性的模型，模型的准确度高。 类神经网络有良好的推广性，对于未知的输入亦可得到正确的输出。 类神经网络可以接受不同种类的变量作为输入，适应性强。 类神经网络可应用的领域相当广泛，模型建构能力强。 类神经网络具模糊推论能力，允许输出入变量具模糊性，归纳学习较难具备此能力。 * 八、类神经网络的缺点 类神经网络的隐藏层一般为1-2层，数目可设为任意数目，且有学习速率等参数需设定，工作相当费时。 类神经网络以迭代方式更新阀值，计算量大，相当耗费计算机资源。 类神经网络的解有无限多组，无法得知哪一组的解为最佳解。 类神经网络是以建立数值结构（含加权值的网络）来学习，其知识结构是隐性的，缺乏解释能力。 * * * * * * * * * * * * * * * * * * * * * 第五章 类神经网络 * 什么是类神经网络 类神经网络（Neural Network，NN）类似人类神经结构，是“一种基于脑与神经系统研究，所启发的信息处理技术”。它具有人脑功能基本特性：学习、记忆和归纳。 神经网络中的几个术语： 树突(Dendrites)：神经元中负责把神经脉冲传递至细胞体的神经纤维。 神经核(soma)：神经元的中央处理部位。 轴突(Axon)：神经元中负责把神经脉冲从细胞体往外传递的神经纤维。 突触(Synapse)：神经元之间的连结机制。 * * * 类神经网络，类似人类神经元结构。 神经元的主要功能是接受刺激和传递信息。神经元通过传入神经接受来自体内外环境变化的刺激信息，并对这些信息加以分析、综合和储存，再经过传出神经把指令传到所支配的器官和组织，产生调节和控制效应。 * * y Vj * 类神经网络和回归分析不同，没有任何假设的概率分布，是模式识别和误差最小化的过程，在每一次经验中提取和学习信息。 类神经网络可以处理连续型和类别型的数据，对数据进行预测。 神经网络是有监督学习。 神经网络的特点： 二、类神经网络的架构 类神经网络主要结构是由神经元（neuron）、层（layer）和网络（network）三个部份所组成。 整个类神经网络包含一系列基本的神经元，通过权重（weight）相互连接。 这些单元以层的方式组织，每一层的每个神