RBM算法.ppt

一是对数据进行编码，然后交给监督学习方法去进行分类或回归； 二是得到了权重矩阵和偏移量，供BP神经网络初始化训练。 RBM的用途主要是两种： RBM的用途 第一种可以说是把它当做一个降维的方法来使用； 第二种用途是因为神经网络也是要训练一个权重矩阵和偏移量，但是如果直接用BP神经网络，初始值选得不好的话，往往会陷入局部极小值。 根据实际应用结果表明，直接把RBM训练得到的权重矩阵和偏移量作为BP神经网络初始值，得到的结果会非常地好。 RBM还可以作为一个生成模型（Generative model）和一个判别模型（Discriminative model）使用。 RBM的编码 假定所有节点的取值都是二值的。 对于给定的输入样本，计算隐藏层第i个节点取值为1（编码后的样本的第i个特征的取值为1）的概率为： 然后产生一个0到1之间的随机数，如果它小于这个概率，对应编码后的样本的取值就是1，否则就是0。（假如p(hi=1|v)=0.6，这里就是因为编码样本的取值就是1的概率是,0.6，而这个随机数小于0.6的概率也是0.6；如果这个随机数小于0.6，就是这个事件发生了，那就可以认为编码样本的取值是1这个事件发生了，所以把对应编码样本取值为1）。 解码过程也是类似，先计算概率： ， 然后产生一个0到1之间的随机数，如果它小于这个概率，那么输入样本的的取值就是1，否则就是0。 一个普通的RBM网络结构有m个可视节点和n个隐藏节点，其中每个可视节点只和n个隐藏节点相关，和其他可视节点是独立的，就是这个可视节点的状态只受n个隐藏节点的影响，对于每个隐藏节点也是，只受m个可视节点的影响，这个特点使得RBM的训练变得容易了。 RBM网络有几个参数，一个是可视层与隐藏层之间的权重矩阵 ，一个是可视节点的偏移量，一个是隐藏节点的偏移量，这几个参数决定了RBM网络将一个m维的样本编码成一个什么样的n维的样本。 RBM的网络结构 可视节点的偏移量 RBM网络 隐藏节点的偏移量 权重矩阵 定义 能量模型的引入 第一，概率分布函数。 由于网络节点的取值状态是随机的，从贝叶斯网的观点来看，要描述整个网络，需要用三种概率分布来描述系统，即联合概率分布，边缘概率分布和条件概率分布。很多文献上说受限波尔兹曼是一个无向图，从贝叶斯网的观点看，受限波尔兹曼网络也可以看作一个双向的有向图，即从输入层节点可以计算隐层节点取某一种状态值的概率，反之亦然。 第二，能量函数。 随机神经网络是根植于统计力学的。受统计力学中能量泛函的启发，引入了能量函数。能量函数是描述整个系统状态的一种测度。系统越有序或者概率分布越集中，系统的能量越小。反之，系统越无序或者概率分布越趋于均匀分布，则系统的能量越大。能量函数的最小值，对应于系统的最稳定状态。 波尔兹曼网络是一种随机网络，描述一个随机网络，总结起来主要有两点： 能量模型可以类比为把一个小球扔到一个比较浅的碗里；把小球停在哪个地方定义为一种状态，每种状态都对应着一个能量，这个能量由能量函数来定义，小球处在某种状态的概率可以通过这种状态下小球具有的能量来定义如小球停在了碗口附近，这是一种状态，这个状态对应着一个能量E，而发生“小球停在碗口附近”这种状态的概率p，可以用E来表示，表示成p=f(E)，其中f是能量函数。 直观理解 能量模型的作用 首先，RBM网络是一种无监督学习的方法，无监督学习的目的是最大可能的拟合输入数据，所以学习RBM网络的目的是让RBM网络最大可能地拟合输入数据。 那么对于一组输入数据来说，如果知道它符合高斯分布，那就可以写出似然函数，然后求解，就能求出这个是一个什么样个高斯分布；但要是不知道它符合一个什么分布，那可是连似然函数都没法写的，问题都没有，根本就无从下手。统计力学的结论表明，任何概率分布都可以转变成基于能量的模型，而且很多的分布都可以利用能量模型的特有的性质和学习过程，有些甚至从能量模型中找到了通用的学习方法。 为什么要引入这个能量模型？ 其次，马尔科夫随机场（MRF）在能量模型发挥两个主要作用：一、全局解的度量（目标函数）；二、能量最小时的解（各种变量对应的配置）为目标解。 能量模型能为无监督学习方法提供目标函数和目标解。 原因 最后，RBM作为一种概率图模型，引入了概率就可以使用采样技术求解，在CD（contrastive divergence）算法中采样部分扮演着模拟求解梯度的角色。 专家乘积项POE 能量模型的概率形式 RBM的能量函数的定义如下： 每个可视节点和隐藏节点之间的连接结构都有一个能量，通俗来说就是可视节点的每一组取值和隐藏节点的每一组取值都有一个能量，如果可视节点的一组取值（也就是一个训练样本的值）为(1,0,1,0,1,0)，隐藏节点的一组取值（也就是这个训练样本编