深度神经网络讲述.ppt

两隐层自编码网络MNIST手写数字识别 把上一层的一阶特征作为另一个稀疏自编码器的输入，使用它们来学习二阶特征h(2)(k) 两隐层自编码网络MNIST手写数字识别 将二阶特征作为softmax分类器的输入，训练得到一个能将二阶特征映射到数字标签的模型 两隐层自编码网络MNIST手写数字识别 将这三层结合起来构成一个栈式自编码网络，通过反向传播算法(BP)同时调整所有层的参数以改善学习结果(称为整体细调fine-tuning) 栈式自编码器神经网络 栈式自编码神经网络具有强大的表达能力及深度神经网络的所有优点。 通常能够获取到输入的“层次型分组”或者“部分-整体分解”结构。 学习方式：前层的输出作为下一层输入的方式依次训练。 如果网络的输入数据是图像，网络的第一层会学习如何去识别边，第二层一般会学习如何去组合边，从而构成轮廓、角等。更高层会学习如何去组合更形象且有意义的特征。 如果输入数据集包含人脸图像，更高层会学习如何识别或组合眼睛、鼻子、嘴等人脸器官。 Deep Learning的常用模型 ——Deep Belief Networks(DBN) 发展历程 Hopfield network Boltzman machine Restricted Boltzman machine DBN Hopfield Network 结构 单层全互连、对称权值的反馈网络 状态：-1(0)，+1 网络演化 Hopfield网络按动力学方式运行。，其工作过程为状态的演化过程，即从初始状态按能量减小的方向进行演化，直到达到稳定状态。稳定状态即为网络的输出 * 二值随机神经元 (Bernoulli variables) These have a state of 1 or 0. The probability of turning on is determined by the weighted input from other units (plus a bias) 0 0 1 波尔兹曼机 Boltzmann Machine 结构类似于Hopfield 网络，但它是具有隐单元的反馈互联网络 遵循波尔兹曼分布，学习数据的固有内在表示 BM基本原理 1. Hopfield网络的神经元的结构功能及其在网络中的地位是一样的。但BM中一部分神经元与外部相连,可以起到网络的输入、输出功能,或者严格地说可以受到外部条件的约束。另一部分神经元则不与外部相连，因而属于隐单元 2.每个神经元只取1或0这两种状态： 状态1代表该神经元处于接通状态，状态0代表该神经元处于断开状态 wji= wij , wii =0 网络结构复杂、训练代价大、局部极小 受限波尔兹曼机 Restricted Boltzmann Machines Restricted Boltzmann Machine(RBM) 通过输入数据集学习概率分布的随机生成神经网络 RBM结构： 一个可见层 一个隐层 层内无连接 二层图： 一层是可视层，即输入数据层(v) 一层是隐藏层(h) 所有的节点都是二值变量 RBM中，隐单元在给定可视单元情况下，条件独立 * 受限波尔兹曼机 RBM的参数 ，均为实数，Wij表示可见单元i和隐单元j之间的连接权重，bi和aj分别表示可见单元i和隐单元j的偏置。 定义联合组态（jointconfiguration）能量： 当参数确定时，基于该能量函数，得到 (v,h)的联合概率分布 受限波尔兹曼机 受限波尔兹曼机 学习目标：极大似然 给定N个样本 RBM 极大似然 v 为观测变量，h 为隐变量，其能量函数为：E(v, h; θ) 概率值： p(v,h), p(v), p(h), p(v|h), p(h|v) Neural network Back propagation 1986 2006 Deep belief net Science Speech 2011 2012 Face recognition 2014 Deep learning achieves 99.53% face verification accuracy on Labeled Faces in the Wild (LFW), higher than human performance Y. Sun, X. Wang, and X. Tang. Deep Learning Face Representation by Joint Identification-Verification. NIPS, 2014. Y. Sun, X. Wang, and X.