第3章神经计算基础(3.1人工神经网络基础)资料.ppt

APWeb/WAIM2007 Huang Shan 2007-6-16 * APWeb/WAIM2007 Huang Shan 2007-6-16 * APWeb/WAIM2007 Huang Shan 2007-6-16 * APWeb/WAIM2007 Huang Shan 2007-6-16 * APWeb/WAIM2007 Huang Shan 2007-6-16 * APWeb/WAIM2007 Huang Shan 2007-6-16 * APWeb/WAIM2007 Huang Shan 2007-6-16 * APWeb/WAIM2007 Huang Shan 2007-6-16 * APWeb/WAIM2007 Huang Shan 2007-6-16 * APWeb/WAIM2007 Huang Shan 2007-6-16 * APWeb/WAIM2007 Huang Shan 2007-6-16 * APWeb/WAIM2007 Huang Shan 2007-6-16 * APWeb/WAIM2007 Huang Shan 2007-6-16 * APWeb/WAIM2007 Huang Shan 2007-6-16 * APWeb/WAIM2007 Huang Shan 2007-6-16 * APWeb/WAIM2007 Huang Shan 2007-6-16 * APWeb/WAIM2007 Huang Shan 2007-6-16 * APWeb/WAIM2007 Huang Shan 2007-6-16 * APWeb/WAIM2007 Huang Shan 2007-6-16 * APWeb/WAIM2007 Huang Shan 2007-6-16 * APWeb/WAIM2007 Huang Shan 2007-6-16 * APWeb/WAIM2007 Huang Shan 2007-6-16 * APWeb/WAIM2007 Huang Shan 2007-6-16 * APWeb/WAIM2007 Huang Shan 2007-6-16 * APWeb/WAIM2007 Huang Shan 2007-6-16 * APWeb/WAIM2007 Huang Shan 2007-6-16 * APWeb/WAIM2007 Huang Shan 2007-6-16 * 1. 无导师学习的缺点 虽然用一定的方法对网络进行训练后，可收到较好的效果。但是，对给定的输入向量来说，它们应被分成多少类，某一个向量应该属于哪一类，这一类的输出向量的形式是什么样的，等等，都是难以事先给出的。从而在实际应用中，还要求进行将其输出变换成一个可理解的形式的工作。 另外，其运行结果的难以预测性也给此方法的使用带来了一定的障碍。 主要的无导师训练方法 主要的无导师训练方法有： Hebb学习律、 竞争与协同（Competitiveand Cooperative）学习、 随机联接学习（Randomly Connected Learning）等。 其中Hebb学习律是最早被提出的学习算法，目前的大多数算法都来源于此算法。 Hebb算法 Hebb算法是D.O. Hebb在1961年提出的，该算法认为，联接两个神经元的突触的强度按下列规则变化： 当两个神经元同时处于激发状态时被加强，否则被减弱。可用如下数学表达式表示： 式中，Wij(t+1) 、Wij(t) 分别表示神经元 ANi到 ANj的联接在时刻 t+1 和时刻 t 的强度，oi(t) 、oj(t) 为这两个神经元在时刻 t 的输出， α 为给定的学习率。 2. 有导师学习 有导师学习（Supervised Learning）与有导师训练（Supervised Training）相对应。 虽然有导师训练从生物神经系统的工作原理来说，因难以解释而受到一定的非议，但是，目前看来，有导师学习却是非常成功的。 在这种训练中，要求用户在给出输入向量的同时，还必须同时给出对应的理想输出向量(目标输出)。 采用这种训练方式训练的网络实现的是异相联的映射。 输入向量与其对应的输出向量构成一个“训练对”。 2. 有导师学习 神经网络(学习系统) a 输出 p 输入 误差分析 e 误差信号 误差信号定义： 均方误差mse (mean squared error) 平均绝对误差mae (mean absolute error) 误差平方和sse (sum squared erro