神经网络的学习方法.doc

一、绪论 1．1 人工神经元网络的基本概念和特征 一、形象思维 人的思维主要可概括为逻辑（含联想）和形象思维两种。 以规则为基础的知识系统可被认为是致力于模拟人的逻辑思维 （左脑） 人工神经元网络则可被认为是探索人的形象思维 （右脑） 二、人工神经元网络 人工神经元网络是生理学上的真实人脑神经网络的结构和功能，以及若干基本特性的某种理论抽象，简化和模拟而构成的一种信息处理系统。 三、神经元是信息处理系统的最小单元。 大脑是由大量的神经细胞或神经元组成的。 每个神经元可以看作为一个小的处理单元，这些神经元按照某种方式互相连接起来，构成了大脑内部的生理神经元网络，他们中各神经元之间连接的强弱，按照外部的激励信号作自适应变化，而每个神经元又随着接收到的多个激励信号的综合大小呈现兴奋或抑制状态。 而大脑的学习过程是神经元之间连接强度随外部激励信息做自适应变化的过程，大脑处理信息的结果确由神经元的状态表现出来。 四、神经元基本结构和作用 1。组成：细胞体、树突、轴突和突触。 2。树突：负责传入兴奋或抑制信息（多条），较短，分支多，信息的输入端 3。轴突：负责传出兴奋或抑制信息（一条），较长，信息的输出端 4。突触：一个神经元与另一个神经元相联系的特殊结构部位，包括：突触前、突触间隙、突触后三个部分。 突触前：是第一个神经元的轴突末梢部分 突触后：是第二个神经元的受体表面 突触前通过化学接触或电接触，将信息传往突触后受体表面，实现神经元的信息传输。 5。神经元网络： 树突和轴突一一对接，从而靠突触把众多的神经元连成一个神经元网络。 6。神经网络对外界的反应 兴奋：相对静止变为相对活动 抑制：相对活动变为相对静止 7。传递形式 神经元之间信息的传递有正负两种连接。 正连接：相互激发 负连接：相互抑制 8。各神经元之间的连接强度和极性可以有不同，并且可进行调整。 五 简化的神经元数学模型 x1 ui x2 θ x3 x4 si x1,x2,..,xn：输入信号 ui:神经元内部状态 θi：与值 ωi：ui到 uj连接的权值 si：外部输入信号，可以控制神经元ui f(·) :激发函数 yi:输出 ?i ： = Σwijxj +si - θi Ui = g(?i) yi = h(ui) = f(g(?i)) = f(Σwijxj +si - θi) f = h x g 六、显示出人脑的基本特征 1。分布存储和容错性 一个信息按内容而分布在整个网络上,网络某一处不是只存储一个外部信息,而是每个神经元存储多种信息的部分内容.这种分布存储方法是存储区与运算区合为一体的. 在神经网络中,要获得存储的知识则采用联想的办法.当一个神经网络输入一个激励时,它要在已存的知识中寻找与该输入匹配最好的存储知识为其解. 优点: 若信息不完全,或丢失或损坏,仍能恢复出原来正确的完整的信息,系统仍能运行. 2。大规模并行处理 人工神经元网络在结构上是并行的,而且网络的各个单元可以同时进行类似的处理过程,信息处理是在大量单元中平行而又有层次地进行,运算速度高，大大超过传统的序列式运算的数字机 3。自学习、自组织和自适应性 学习和适应要求在时间过程中系统内部结构和联系方式有改变,神经元网络是一种变结构系统,恰好能完成对环境的适应和对外界事物的学习能力。神经元之间的连接多种多样,连接强度具有一定的可塑性,相当于突触传递信息能力的变化，这样，网络可以通过学习和训练进行自组织以适应不同信息处理的要求。 4。神经元网络是大量神经元的集体行为，并不是各单元行为的简单的相加，而表现出一般复杂非线性动态系统的特性。如不可预测性，不可逆性等。 5。神经元可以处理一些环境信息十分复杂、知识背景不清楚和推理规则不明确的问题， 如语音识别,医学诊断和手写体识别等 七 人工神经元网络研究的发展简史 1.早期 1957 感知器(Perceptron)有能力通过调整权的学习达到正确分类的结果 2 过度期（70年代） 1971-到1984 , 芬兰的Tuevo Kohonen 提出 学习向量化(LVQ),自动(无指导)确定来自于n维中足够大的一组数据点中k个最好的参考向量. 这种ANS(人工神经元系统)为自组织特征映射。认为一个神经网络接受外界输入模式时，将会分为不同域，各个区域对输入具有不同的响应特征，这个过程是自动完成的。这种算法是无导师的一种学习方法，输