《A Tutorial on Deep Learning》.pptx

A Tutorial on Deep Learning;2;在去年夏季，Google的技术人员Jeff Dean和Stanford University的Andrew Y. Ng把1.6万台电脑连在一起，使其能够自我训练，对2万个不同物体的1400万张图片进行辨识。尽管准确率较低，只有15.8%，但该系统的表现比之前最先进的系统都要好70%。? 另一则类似的报道是Google把从YouTube随机挑选的1000万张200 x 200像素的图输入其系统，让计算机寻找图像中一再重复出现的特征，从而对含有这种特征的物体进行识别，令人感到最神奇的是，在开始分析数据前，并不需要向系统输入任何诸如”脸、肢体、猫的长相是什么样子”这类信息。一旦系统发现了重复出现的图像信息，计算机就创建出”图像地图”，该地图稍后会帮助系统自动检测与前述图像信息类似的物体。;去年6月，Google演示了有史以来最大的神经网络，这一网络上拥有超过10亿个节点，并成功从YouTube视频中提取了1000万张画面上带猫的图片。如果没有深层学习，也就没有这么强大的功能。 深度学习系统可以准确的将物体分类并添加主题，使YouTube视频分类达到16%的准确度。这个数字虽然看起来很小，但是已经比上一代系统提高了70%。需要注意的是，YouTube的系统所用的深度学习是将视频分到22000个分类中，许多分类连常人无法区分。而当把分类缩小到1000个时，系统识别的准确率瞬间提高到了50%。 ;去年10月份在天津的一次计算机会议上，微软首席科学家Richard F. Rashid在上面演讲关于语音识别的时候，演示了其使用深度学习技术(他的原话是:deep neural network，深度神经网络，属于深度学习的一种)来提高语音识别准确率的效果，相比目前最先进的基于Hidden Markov Model的技术，其准确率提升了大约30%。;Artificial Intelligence，也就是人工智能，就像长生不老和星际漫游一样，是人类最美好的梦想之一。虽然计算机技术已经取得了长足的进步，但是到目前为止，还没有一台电脑能产生“自我”的意识。是的，在人类和大量现成数据的帮助下，电脑可以表现的十分强大，但是离开了这两者，它甚至都不能分辨一个喵星人和一个汪星人。 ;问题：例如图像识别、语音识别、自然语言理解、天气预测、基因表达、内容推荐等等。;机器视觉感知的流程;9;10;11;关于特征;特征表示的粒度;初级（浅层）特征表示;初级（浅层）特征表示;16;结构性特征表示;在不同object上做training时，所得的edge basis 是非常相似的，但object parts和models 就会completely different了（这时我们分辨car或者face是不是容易多了）;需要的特征数量;Deep Learning;;Race on ImageNet (Top 5 Hit Rate) ;Challenge to Deep Learners ;Answer from Geoff Hinton， 2012.10;Deep Learning的基本思想;Deep Learning的基本思想;浅层学习（Shallow Learning）和深度学习（Deep Learning）;浅层学习是机器学习的第一次浪潮;深度学习是机器学习的第二次浪潮;深度学习是机器学习的第二次浪潮;Deep learning与Neural Network; Deep learning与传统的神经网络之间的相同在于deep learning采用了神经网络相似的分层结构，系统由包括输入层、隐层（多层）、输出层组成的多层网络，只有相邻层节点之间有连接，同一层以及跨层节点之间相互无连接，每一层可以看作是一个logistic regression模型；这种分层结构，是比较接近人类大脑的结构的。; 而为了克服神经网络训练中的问题，DL采用了与神经网络很不同的训练机制。传统神经网络中，采用的是back propagation的方式进行，简单来讲就是采用迭代的算法来训练整个网络，随机设定初值，计算当前网络的输出，然后根据当前输出和label之间的差去改变前面各层的参数，直到收敛（整体是一个梯度下降法）。而deep learning整体上是一个layer-wise的训练机制。这样做的原因是因为，如果采用back propagation的机制，对于一个deep network（7层以上），残差传播到最前面的层已经变得太小，出现所谓的gradient diffusion（梯度扩散）。;Deep learning训练过程;deep learning训练过程具体如下：;Building B