神经信息学自组织网络——自组织映射.ppt

* * 利用SOM进行文本聚类：预处理 去掉非文本信息 去掉在整个文档集合中出现次数小于50次的词 去停用词 经过上述处理后，词的个数由 1 127 184 减少为 63 773 * * 利用SOM进行文本聚类：Word category map 将词表示成为一个180维的向量，作为一个SOM网络的输入，进行聚类 最终产生 13 432 个词类单元 （ 63 773 ? 13 432） * * 利用SOM进行文本聚类：Document map 利用上面产生的词类将文档向量化后，每篇文档表示为一个 13 432 维的向量，再利用随机映射(Random mapping method)的降维方法，向量维数减少到 315 维 将这 315 维的向量作为一个 SOM 的输入 相关的结果可以参见http://websom.hut.fi/websom/ * * 利用SOM进行文本聚类 * * SOM的特点 自组织映射（Self-organizing Maps，SOM）算法是一种无导师学习方法 具有良好的自组织 可视化 得到了广泛的应用和研究。 * Thank you! * * * * * * * * * * * * * * * * * * * * * * * 神经信息学自组织网络 ——自组织映射 * * 概 述 自组织神经网络，又称为自组织竞争神经网络,特别适合于解决模式分类和识别方面的应用问题。 自组织神经网络属于前向神经网络类型，采用无导师学习算法， 自组织特征映射神经网络不仅能够像自组织竞争神经网络一样学习输入的分布情况，而且可以学习神经网络的拓扑结构。 * * 概 述 自组织竞争神经网络类型 自组织特征映射(self-Organizing Map，SOM)网络 自适应共振理论(Adaptive Resonance Theory，ART)网络 对传(Counter Propagation，CP)网络 协同神经网络(Synergetic Neural Network．SNN) * * 自组织特征映射神经网络结构 由芬兰学者Teuvo Kohonen于1981年提出 基本上为输入层和映射层的双层结构,映射层的神经元互相连接，每个输出神经元连接至所有输入神经元 Kohonen的思想在本质上是希望解决有关外界信息在人脑中自组织地形成概念的问题。 I’m Teuvo Kohonen * * SOM网的生物学基础 Kohonen认为人的大脑有如下特点： 1．大脑的神经元虽然在结构上相同，但是它们的排序不同。排序不是指神经元位置的移动，而是指神经元的有关参数在神经网络受外部输入刺激而识别事物的过程中产生变动。 2．大脑中神经元参数在变动之后形成特定的参数组织；具有这种特定参数组织的神经网络对外界的特定事物特别敏感。 3．根据生物学和神经生理学，大脑皮层分成多种不同的局部区域，各个区域分别管理某种专门的功能，比如听觉、视觉、思维等。 4．大脑中神经元的排序受遗传决定，但会在外界信息的刺激下，不断接受传感信号，不断执行聚类过程，形成经验信息，对大脑皮层的功能产生自组织作用，形成新功能。 * * SOM网的生物学基础 生物学研究的事实表明，在人脑的感觉通道上，神经元的组织原理是有序排列。因此当人脑通过感官接受外界的特定时空信息时，大脑皮层的特定区域兴奋，而且类似的外界信息在对应区域是连续映象的。 对于某一图形或某一频率的特定兴奋过程，神经元的有序排列以及对外界信息的连续映象是自组织特征映射网中竞争机制的生物学基础。 * * 自组织特征映射神经网络结构 竞争层 输入层 SOM神经网络结构 * * SOM网的拓扑结构 SOM网共有两层，输入层模拟感知外界输入信息的视网膜，输出层模拟做出响应的大脑皮层。 * * SOM网的权值调整域 SOM网的获胜神经元对其邻近神经元的影响是由近及远，由兴奋逐渐转变为抑制，因此其学习算法中不仅获胜神经元本身要调整权向量，它周围的神经元在其影响下也要程度不同地调整权向量。这种调整可用三种函数表示： * * SOM网的权值调整域 以获胜神经元为中心设定一个邻域半径，该半径圈定的范围称为优胜邻域。在SOM网学习算法中，优胜邻域内的所有神经元均按其离开获胜神经元的距离远近不同程度地调整权值。 优胜邻域开始定得很大，但其大小随着训练次数的增加不断收缩，最终收缩到半径为零。 * * 自组织特征映射网络的学习算法 自组织特征映射学习算法原理 Kohonen自组织特征映射算法，能够自动找出输入数据之间的类似度，将相似的输入在网络上就近配置。因此是一种可以构成对输入数据有选择地给予响应的网络。 类似度准则 欧氏