神经网络学习.pptxVIP

神经网络学习第1页/共52页 2008-2009学年第1学期摘自《Talking Nets: An Oral History of Neural Networks》封面第2页/共52页 2008-2009学年第1学期6.6.1 神经网络基础公元前400年左右，柏拉图和亚里士多德就曾对人类认知、记忆、思维进行过研究；19世纪末，出现了神经元学说；美国生物学家W. James在《Physiology》一书中提到，“人脑中两个基本单元靠得较近时，一个单元的兴奋会传到另一个单元；20世纪40年代，神经解剖学、神经生理学、神经元的电生理过程等有了突破性进展。第3页/共52页 2008-2009学年第1学期人脑中神经元（神经细胞）的结构Nucleus：核 Cell body：细胞体 Dentrite：树突 Axon：轴突第4页/共52页 2008-2009学年第1学期神经元之间的电信号传递轴突后部裂出许多分枝，分枝末端有突触，突触与树突连接；轴突中的信号经突触转换为“阻止”或“激活”信号；当神经元的“净输入”超过阈值时，其沿轴突发出信号；改变突触的效能，神经元之间的影响随之改变，学习就发生了。突触（神经键）第5页/共52页 2008-2009学年第1学期生物神经元的结构摘自张仰森《人工智能原理与应用》随书课件第6页/共52页 2008-2009学年第1学期1943年，W.S. McCulloch和W.A. Pitts合作提出了第一个人工神经元模型（M-P模型）；Sumy0 T1f是阈值为T的阶跃函数∑I1I2IN…W1W2WNyM-P模型中输入、输出的关系摘自.eg/rehan/ann/2_3_1%20The%20McCulloch-Pitts%20Model%20of%20Neuron.htm第7页/共52页 2008-2009学年第1学期M-P神经元模型树突加和细胞体阈值轴突参考：http://www.doc.ic.ac.uk/~nd/surprise_96/journal/vol4/cs11/report.html#What%20is%20a%20Neural%20Network突触第8页/共52页 2008-2009学年第1学期1949年，Donala U. Hebb在“The Organization of Behavior”一书中认为学习的过程最终发生在神经元之间的突触部位，突触的连接强度随着突触前后神经元的活动而变化；连接权的学习律正比于突触前后两个神经元的活动状态值的乘积；可假设权是对称的，细胞的互连结构是通过改变彼此的连接权创造出来的。突触连接强度的可变性是学习和记忆的基础第9页/共52页 2008-2009学年第1学期Hebb规则这是神经网络的第1个学习算法；神经元的输出连接权值的调整公式学习率净输入第10页/共52页 2008-2009学年第1学期1957年，Frank Rosenblatt在M-P模型基础上，定义了一个具有单层计算单元的神经网络结构，取名为“感知器”。输入层计算层(输出层)…………x1x2xixny1yjymw1jwnj第11页/共52页 2008-2009学年第1学期设计一个神经网络模型，除了明确网络的结构、神经元的传输函数（f）；还要给出学习算法。学习算法用于得出神经网络中的各个参数。学习算法通常是迭代算法，对应神经网络的演变过程；算法收敛到一个稳定状态时，神经网络的各参数（连接权值、阈值等）就基本不变了；这个过程称为神经网络的学习或训练。第12页/共52页 2008-2009学年第1学期人工神经网络的两个操作模式训练模式（training mode）准备大量的有教师指导的（或无教师指导的）的训练样本（即实例），对ANN进行训练，确定ANN的内部参数（甚至结构）。使用模式（using mode）输入一个实际例子，让ANN分析并给出结果。第13页/共52页 2008-2009学年第1学期“感知器”是怎么训练的呢？假设每个样本含 n 个属性，用向量(x1, x2, …, xn)表示；若X 为样本变量， X∈Rn；wij 是 xi 到神经元 j 的连接权值， Wj 是神经元 j 的输入连接的权值向量，即Wj =(w1j , w2j , …, wnj )；先随机设置{wij}和{θj }，θj 是神经元 j 的阈值；不同神经元的参数（包括连接权值和阈值）的学习是相互独立的，故只需给出一个神经元的学习算法。第14页/共52页 2008-2009学年第1学期神经元 j 的参数怎么学习呢？样本必须是有教师指导的，即预先知道其分类；输入(x1, x2, …, xn)时，神经元j的输出应为 dj 。对于离散感知器，yj 按下式计算。 则wij 的调整规则是