神经网络之——感知机.ppt

* 生物神经网络如何学习的？若干树突接收外部信息，在胞体内进行信息加工处理，再经由轴突传输出去。?短时记忆中，大脑中的神经活动以反响回路的方式进行，神经元之间形成自兴奋环路。如果环路在一段时间内持续兴奋，则会发生某些化学变化或结构变化，记忆便永久存储下来。若与其他已存在的且有意义的记忆联系起来，就成为长时记忆的一部分。 * 人工神经网络如何学习？如何存储知识？ 老师知道网络的目标输出,通过网络的实际输出与目标输出之间的误差,调整网络的权重.表示成为{样本输入,目标输出}。通过教师的指导，调节网络连接权重，使网络逐步迭代接近目标输出。从网络的性能看，训练过程中每次获得的误差可以看作是性能误差曲面上的一个点。训练网络提高性能的过程就是根据教师的指导，使误差点在误差曲面上移动，以逐渐接近局部或全局最小点，教师知道这种下降的梯度，可以实现最速下降梯度。这样，只要给定最小代价函数，足够的（输入，输出）样本，以及足够的训练时间，一个有监督学习系统总是能训练成为一个具备分类或聚类能力的系统。 * 无监督学习，不知道网络的目标输出，只知道输入。通过学习，获得输入样本中的结构，使网络具有分类（聚类）能力。 * * 学习目标：使网络的输出接近目标输出。若网络的每次输出等于目标输出，则学习结束。 * 决策面：平面上是净输入为0的一条线，关键要素：其法向量 * 需要旋转决策线（法线），使净输入为正，最后网络输出为+1 * 显然，学习算法与维数无关。因此，可以推广到高维空间。 一般准则：若分类数为M，则需要神经元的数目S是其2的对数 * 反复迭代训练，直到权值不再变化为止。 * 若给定数据存在决策面，则该学习算法一定收敛。 * 由于实际应用中大多无法确定是否存在线性可分决策面，故，感知机很难进行实际应用。也因此，影响神经网络的发展。直到80年代，由于感知机的局限性得到解决，神经网络得以重新发展，90年代达到高潮期。目前，神经网络的应用已深入到各行各业。 此外，感知机对噪声敏感，因为其训练模式常接近网络的 判定边界。 * 4个类，线性可分。需要几个神经元？2个 * 注意：权值向量的长度无关紧要，重要的是其方向，且与决策面垂直。 * 注意：权值向量的长度无关紧要，重要的是其方向，且与决策线垂直。 * 8个类，需要4个神经元 total 89 pages * Unified Learning Rule Learning Rule: total 89 pages * Unified Learning Rule Learning Rule: total 89 pages * Unified Learning Rule Learning Rule: total 89 pages * Unified Learning Rule Learning Rule: Since, a bias is a weight with an input of 1. total 89 pages * Perceptron total 89 pages * Learning Algorithm Multiple-Neuron Perceptrons We need at least s number of neurons to classify m classes, where total 89 pages * Learning Algorithm Step 1: Design the perceptron structure. Step 2: Training the network by learning algorithm. Multiple-Neuron Perceptrons total 89 pages * Training Set Apple/Banana Example total 89 pages * Initial Weights: First Iteration: e t 1 a – 1 0 – 1 = = = Apple/Banana Example total 89 pages * Second Iteration total 89 pages * Check total 89 pages * The perceptron rule will always converge to weights which accomplish the desired classification, assuming that such weights exist. Perceptron Ability total 89 pages * Linear Decision Boundary： Linearly Inseparable Problems： Perceptron li