数据挖掘算法介绍-后向传播.doc

后向传播 “后向传播如何工作？”后向传播通过迭代地处理一组训练样本，将每个样本的网络预测与实际知道的类标号比较，进行学习。对于每个训练样本，修改权，使得网络预测和实际类之间的均方误差最小。这种修改“后向”进行，即由输出层，经每个隐藏层，到第一个隐藏层（因此称作后向传播）。尽管不能保证，一般地，权将最终收敛，学习过程停止。算法在图7.8中给出。 算法：后向传播。使用后向传播的神经网络分类学习。 输入：训练样本samples，学习率l，多层前馈神经网络network。 输出：一个训练的、对样本分类的神经网络。 方法： 初始化network的权和偏置。 while终止条件不满足{ for samples中的每个训练样本X{ //向前传播输入 for 隐藏或输出层每个单元j{ ；//相对于前一层i，计算单元j的净输入 ；}//计算每个单元j的输出 //后向传播误差 for 输出层每个单元j ；//计算误差 for 由最后一个到第一个隐藏层，对于隐藏层每个单元j ；//计算关于下一个较高层k的误差 for network中每个权wij { ；//权增值 ；}//权更新 for network中每个偏差 { ；//偏差增值 ；}//偏差更新 }} 每一步的解释如下： 初始化权：网络的权被初始化为很小的随机数（例如，由-1.0到1.0，或由-0.5到0.5）。每个单元有一个偏置，在下面解释。偏置也类似地初始化为小随机数。 每个样本X按以下步骤处理。 向前传播输入：在这一步，计算隐藏层和输出层每个单元的净输入和输出。首先，训练样本提供给网络的输入层。注意，对于输入层的单元j，它的输出等于它的输入，即对于单元j，。然后，隐藏层和输出层的每个单元的净输入用其输入的线性组合计算。为帮助解释这一点，图7.9给出了一个隐藏层或输出层单元。事实上，单元的输入是连接它的前一层的单元的输出。为计算它的净输入，连接该单元的每个输入乘以其对应的权，然后求和。给定隐藏层或输出层的单元j，到单元j的净输入Ij是 （7.13） 其中，wij是由上一层的单元i到单元j的连接的权；Oi是上一层单元i的输出；而是单元j的偏置。偏置充当阈值，用来改变单元的活性。 隐藏层和输出层的每个单元取其净输入，然后将一个赋活函数作用于它，如图7.9所示。该函数用符号表现单元代表的神经元活性。使用logistic或simoid函数。给定单元j的净输入Ij，则单元j的输出Oj用下式计算： （7.14） 该函数又称挤压函数，因为它将一个较大的输入值域映射到较小的区间0到1。Logistic函数是非线性的和可微的，使得后向传播算法可以对线性不可分的分类问题建模。 向后传播误差：通过更新权和偏置以反映网络预测的误差，向后传播误差。对于输出层单元j，误差Errj用 （7.15） 计算，其中Oj是单元j的输出，而Tj是j基于给定训练样本的已知类标号的真正输出。注意，是logistic函数的导数。 为计算隐藏层单元j的误差，考虑下一层中连接j的单元的误差加权和。隐藏层单元j的误差是 （7.16） 其中，wkj是由下一较高层中单元k到单元j的连接权，而Errk是单元k的误差。 更新权和偏差，以反映传播的误差。权由下式更新，其中是权wij的改变。 （7.17） （7.18） 7.18式中的l是学习率，通常取0和1之间的一个常数值。后向传播学习使用梯度下降法有哪些信誉好的足球投注网站权值的集合。这些权值可以对给定的分类问题建模，使得样本的网络预测和实际的类标号距离平方的平均值最小。学习率帮助避免陷入判定空间的局部最小（即权值看上去收敛，但不是最优解），并有助于找到全局最小。如果学习率太小，学习将进行得很慢。如果学习率太大，可能出现在不适当的解之间摆动。一个经验规则是将学习率设置为。其中，t是已对训练样本集迭代的次数。 偏置由下式更新，其中是偏置的改变： （7.19） （7.20） 注意，这里我们每处理一个样本就更新权和偏置，这称作实例更新（case update）。权和偏置的增量也可以累积到变量中