神经网络及其应用之竞争型神经网络课件.ppt

神经网络及其应用 12月28日 第十章 竞争型神经网络 常见的竞争网络 自组织竞争网络（Kohonen网络） 自组织特征映射网络（SOFM网络） 学习矢量量化神经网络（LVQ网络） 学习方法分类 有师学习（分类） 已知输入 已知期望输出（每个输入分别属于哪一类） 在特征空间中，各个类的核位置已知 无师学习（聚类） 已知输入 期望输出未知（但可能已知分为几类） 在特征空间中，各个类的核位置待确定 自组织竞争网络神经元功能分析 权值W：R维向量（与输入向量维数相同） 处理函数：求权值向量W与输入向量I之间的距离的负值-d 输出：阈值b与-d的和 n = b - dist(p , w) 自组织竞争神经网络的结构 自组织竞争神经网络结构分析 输入：R维列向量，表示待分类的特征空间是R维的。（每个样本有R个分量） 输入层：有S个神经元，分别通过学习确定S个类的核心（在特征空间的）位置 竞争层（输出层）：输出一个S维列向量，若输入的第i个分量最大，则输出向量中的第i个分量为1，其它分量为0 自组织竞争神经网络的学习过程 根据一个输入向量与初始状态下各个核心的距离判断它属于哪个类 根据确定分类的输入向量对相应的核心位置进行修订 对所有训练样本都进行上述处理 反复将训练样本进行多次处理，直到不再发生分类改变为止，学习过程完成 修正神经元权值的规则 内星学习规则 外星学习规则 Kohonen学习规则 阈值学习规则 内星学习规则 instar学习规则:Δwij = lr · (pj – wij) ·ai 例一：内星学习规则函数learnis() 外星学习规则 Outstar学习规则：Δwij = lr · (aj – wij) ·pj 例二：外星学习规则函数learnos() Kohonen学习规则 对instar规则的改进 将ai取值为1 Kohonen学习规则： Δwij = lr · (pj – wij) 例三：科荷伦学习规则函数learnk() 阈值学习规则 阈值的作用： 调整的是某个神经元响应的半径 为什么除了调整权值以外还要调整阈值： 某些神经元的初始位置离样本区域太远 先将这些“死”神经元的响应半径增大 当有样本能够吸引到该神经元后再缩小半径 阈值学习函数learncon() 自组织竞争神经网络的创建 创建自组织竞争神经网络的函数 NET = NEWC(PR,S,KLR,CLR) PR：Rx2维矩阵，确定输入范围 S：神经元个数（分类个数） KLR：Kohonen学习规则的学习率，默认为0.01 CLR：阈值学习率，默认为0.001 例四：自组织竞争神经网络的创建（注意初始状态） 例五：自组织竞争神经网络的设计 设置初始训练向量 创建初始态的自组织竞争神经网络 设置训练参数 训练 观察训练后网络的状态 检验网络功能 例六：自组织竞争神经网络用于模式识别 通过语句生成待分类点集，8组，每组10个 创建一个有8个神经元的网络 观察训练前网络的状态 对网络进行训练 观察网络训练后的状态 用新的输入向量进行测试 自组织特征映射神经网络 Self-Organizing Feature Maps，简称SOFM 设计来源： 模拟大脑的“不同感知路径”（拓扑结构） 引入神经元所处位置的空间信息 每个神经元受到的激励除了外部输入信息之外还有来自周围神经元的反馈信号 特点： 神经元只有权值，没有阈值 神经元之间有相互联系 自组织学习 SOFM模型（二维） 输入信号：n维 输出：2维 SOFM网络学习方法 Kohonen学习规则 起作用范围是竞争胜出神经元及其周围邻域中的所有神经元，但是修正率不同 邻域 距离中心神经元距离小于指定半径d的所有神经元的集合 拓扑结构 矩形拓扑结构：gridtop()（例一） 六（三？）角型拓扑结构：hextop()（例二） 随机拓扑结构：randtop()（例三） 注意：指的是神经元组织拓扑结构，而不是特征向量空间的拓扑结构 几种距离定义 SOFM结构 SOFM的构建函数 NET = NEWSOM(PR,[D1,D2,...],TFCN,DFCN,OLR,OSTEPS,TLR,TNS) PR - Rx2 矩阵确定输入范围 Di - 第i层神经元个数,缺省为5× 8 TFCN - 拓扑函数，缺省为 hextop. DFCN - 距离函数，缺省为 linkdist. OLR - 排序阶段学习率，缺省为0.9. OSTEPS - 排序阶段最大学习步骤，缺省为1000. TLR - 调整阶段学习率，缺省为0.02; TND