第五章 非线性分类器.ppt

多层感知器 * 西安电子科技大学计算机学院 * 结论： ?当训练样本无穷多时，以均方误差最小为目 标训练的神经网络的输出在统计意义上是对 样本后验概率的最小均方误差估计。 反向传播算法 * 西安电子科技大学计算机学院 * 多层感知机的中间隐层不直接与外界连 接，其误差无法估计。 反向传播算法 ?从输入层经隐层逐层正向计算各单元的输出； ? 由输出误差逐层反向计算隐层各单元的误差， 并用此误差修正前层的权值。 反向传播算法 * 西安电子科技大学计算机学院 * 多层感知器的例子和符号 反向传播算法 * 西安电子科技大学计算机学院 * 多层感知器符号： 第 层第i个神经元的输出： Sigmoid传递函数： 反向传播算法 * 西安电子科技大学计算机学院 * 最小平方误差（Least Square）准则 平方误差： 最速下降法： 反向传播算法 * 西安电子科技大学计算机学院 * Least-Mean-Square（LMS）准则 第t步只用当前误差： 反向传播算法 * 西安电子科技大学计算机学院 * 准则的选用：通常用LMS 稳定，计算量比LS小； LMS的最优解的数学期望收敛到LS的最优解 收敛速度快 反向传播算法 * 西安电子科技大学计算机学院 * BP算法 反向传播算法 * 西安电子科技大学计算机学院 * BP算法 反向传播算法 * 西安电子科技大学计算机学院 * 的计算 LMS准则 Sigmoid函数导数 反向传播算法 * 西安电子科技大学计算机学院 * 的计算 对于输出层( ), 是当前输出与期望输出之误差对权值的导数 对中间层， 是输出误差反向传播到该层的误差对权值的导数。 反向传播算法 * 西安电子科技大学计算机学院 * 改进：如 时变，加记忆项，网络结点可剪裁，等等。 反向传播算法 * 西安电子科技大学计算机学院 * 多层感知器 * 西安电子科技大学计算机学院 * 多层感知器 * 西安电子科技大学计算机学院 * 用多层感知器网络实现模式识别 多层感知器 * 西安电子科技大学计算机学院 * 神经网络结构的选择 神经元的传递函数 ---- 通常选Sigmoid函数 网络结构 ---- 通常三层（1个隐层）即可满足常见任务需求，隐层节点数目？ 连接权值 ---- 通常采用 BP算法学习 过学习（over-fitting）与欠学习（under-fitting）问题 隐层节点数目： 根据具体问题进行试探选择 据对问题的先验知识去精心地设计隐层节点的层数和节点数目 用算法来推测适当的隐层节点数目 多层感知器 * 西安电子科技大学计算机学院 * 过拟合现象： 增加隐单元个数 训练数据分类正确率 测试数据正确率提高 识别正确率与隐单元个数有很大关系！ 训练数据分类正确率提高 ？？ 多层感知器 * 西安电子科技大学计算机学院 * 其他类型的人工神经网络 * 西安电子科技大学计算机学院 * 其他类型神经网络： 径向基函数（RBF）网络 Hopfield网络：反馈型神经网络 自组织映射网络：竞争学习的神经网络 径向基函数网络 * 西安电子科技大学计算机学院 * 径向基函数网络 * 西安电子科技大学计算机学院 * 径向基函数网络(RBFNs)结构 径向基函数网络 * 西安电子科技大学计算机学院 * RBF网络与BP网络比较： RBF网络的输出是隐单元输出的线性加权和，学习速 度加快 ? BP网络使用sigmoid函数作为激活函数，这样使得 神经元有很大的输入可见区域 ? 径向基神经网络使用径向基函数（一般使用高斯函数） 作为激活函数，神经元输入空间区域很小，因此需要 更多的径向基神经元 径向基函数网络 * 西安电子科技大学计算机学院 * 常用高斯函数： x 为n维输入向量； c i是第 i 个基函数的中心； 是第 i 个感知的变量（可以自由选择的参数）， 决定了基函数围绕中心点的宽度； m 是感知单 元的个数。 径向基函数网络 * 西安电子科技大学计算机学院 * 学习算法需要求解的参数 学习方法分类（按RBF中心选取方法不同分） 径向基函数网络 * 西安电子科技大学计算机学院 * 自组织选取中心学习方法 高斯函数作为径向基函数 径向基函数网络 * 西安电子科技大学计算机学院 * 径向基函数网络 * 西安电子科技大学计算机学院 * 网络输出 设 d 是样本的期望输出值，那么基函数的方差 可表示为: 径向基函数网络 * 西安电子科技大学计算机学院 * 自组织选取中心算法步骤 1.基于K