神经网络模型理论.ppt

吴凡蔡佳佳吴凡蔡佳佳吴凡蔡佳佳吴凡蔡佳佳吴凡蔡佳佳*2006-4-15神经网络模型理论2吴凡蔡佳佳神经网络模型分类2006-4-15吴凡蔡佳佳*自组织神经网络2006-4-15吴凡蔡佳佳*自组织神经网络是一种无导师学习的神经网络模型，这类模型大都采用了竞争学习机制。它可以对外界的样本空间进行学习或模拟，并对自身网络结构进行调整，一般分为ART模型，SOM模型和CPN模型。01ART(AdaptiveResonanceTheory)自适应共振理论01SOM(Self-OrganizingFeatureMap)自组织特征映射01自组织神经网络2006-4-15吴凡蔡佳佳*CPN(CounterPropagationNetwork)反向传播网络竞争学习是指同一层上的神经元进行竞争，胜利的神经元修改与其相连的连接权值。这种机制可以进行模式分类。在竞争学习中，网络根据输入的样本进行自组织，并将其划分到相应的模式类别中。竞争学习2006-4-15吴凡蔡佳佳*竞争网络的第一层是输入层，接受样本；第二层是竞争层，对输入样本分类。对于某个神经元，连接权的和为1。Wij是输入层神经元到竞争层神经元的权值。竞争学习2006-4-15吴凡蔡佳佳*输入的样本为二值向量（0，1组成的向量），竞争层单元j的状态按右边第一个公式来计算。其中Xi为输入样本的第i个元素。按照WTA(Winner-Takes-All)机制来调整，即竞争层上具有最大权值的神经元K胜利。输出为右边第2个式子竞争后的权值按右面第3个式子修改竞争学习2006-4-15吴凡蔡佳佳*其中α为学习参数，一般0.01——0.3，m为输入层上输出值为1的神经元的个数。01当Xi为1权值增加，为0则减小。所以当第i个权值增加或减小时，其他权值都有可能变化。但所有改变量的和一定是0。02KOHONEN网络模型2006-4-15吴凡蔡佳佳*该网络也称为Kohonen网络，1981年由芬兰Helsink大学Kohonen教授提出。该网络是一个由全互连的神经元阵列形成的无导师自组织自学习网络。该模型的生物理论是认为处于人脑不同区域的神经元分工有所不同。当神经网络在接受外界接受输入模式时，将会分为不同的对应区域。01SOM模型的特征就是能在1维或2维单元上形成输入信号的特征拓扑分布。02KOHONEN网络模型2006-4-15吴凡蔡佳佳*SOM模型具有抽取输入信号模式特征的能力。它一般只包含一维或二维的阵列，但可以推广到高维。KOHONEN网络模型2006-4-15吴凡蔡佳佳*这种网络最显著的特点是神经元不像在感知器和层次神经网络中按层排列，而是排列在平面格子中。所有输入连接到网格中的每个神经元，反馈约束表现在抑制邻近的神经元，在格子中的每个神经元是输出神经元。各神经元之间连接权之间有一定分布，邻近的神经元相互激励，而较远的神经元则相互抑制，更远的一些又有较弱的激励作用。在受外界刺激最强的地方形成一个BOBBLE区域。KOHONEN网络模型2006-4-15吴凡蔡佳佳*在这个BOBBLE区域中，神经元的权向量会自动调节，一直到与输入向量的某一最大主分量方向相重合为止。下图为激励作用与距离的关系。KOHONEN网络模型由四个部分组成：KOHONEN网络模型的组成2006-4-15吴凡蔡佳佳*处理单元阵列：接受事件输入，并且形成对这些信号的判别函数。1比较选择机制：比较判别函数并选择一个具有最大函数输出值的输出单元。2局部互连作用：同时激励被选择的处理单元和最邻近的处理单元。3自适应过程：修正被激励的处理单元参数，以增加其相应于特定输入判别函数的输出值。4KOHONEN网络模型2006-4-15吴凡蔡佳佳*设网络输出X∈，输出神经元与输入神经元连接权Wi∈，则输出神经元的输出Oi=WiX.01网络实际具有响应的输出单元k是通过竞争得到的，竞争方法是取所有输出中的最大值。02KOHONEN对这些规则又进行了改进。具体改进这里不讲，可以参考杨建刚的《人工神经网络实用教程》，浙江大学出版社，2001年6月出版。03在文献上见到了这种模型求解TSP问题，这里给出大体算法步骤：KOHONEN网络解决TSP问题2006-4-15吴凡蔡佳佳*将所有连接权值初始化为一个小于1的随机数。初始化一个随时间增加而下降的增益α(t0)和邻域大小NE(t0).随机选择一个城市，其坐标（X，Y）