Deep Learning(深度学习)学习笔记整理.pdf

DeepLearning（深度学习）学习笔记整理 作者：Zouxy version 1.0 2013-04-08 目录： 一、概述 二、背景 三、人脑视觉机理 四、关于特征 4.1、特征表示的粒度 4.2、初级（浅层）特征表示 4.3、结构性特征表示 4.4、需要有多少个特征？ 五、DeepLearning的基本思想 六、浅层学习 ShallowLearning）和深度学习 DeepLearning） 七、Deeplearning与NeuralNetwork 八、Deeplearning训练过程 8.1、传统神经网络的训练方法 8.2、deeplearning训练过程 九、DeepLearning的常用模型或者方法 9.1、AutoEncoder 自动编码器 9.2、SparseCoding稀疏编码 9.3、RestrictedBoltzmannMachine(RBM)限制波尔兹曼机 9.4、DeepBeliefNetworks深信度网络 9.5、ConvolutionalNeuralNetworks卷积神经网络 十、总结与展望 十一、参考文献和DeepLearning学习资源 一、概述 Artificial Intelligence，也就是人工智能，就像长生不老和星际 漫游一样，是人类最美好的梦想之一。虽然计算机技术已经取得了长足 的进步，但是到目前为止，还没有一台电脑能产生 “自我”的意识。是 的，在人类和大量现成数据的帮助下，电脑可以表现的十分强大，但是 离开了这两者，它甚至都不能分辨一个喵星人和一个汪星人。 图灵（图灵，大家都知道吧。计算机和人工智能的鼻祖，分别 对应于其著名的 “图灵机”和 “图灵测试”）在 1950 年的论文里，提 出图灵试验的设想，即，隔墙对话，你将不知道与你谈话的，是人还是 电脑。这无疑给计算机，尤其是人工智能，预设了一个很高的期望值。 但是半个世纪过去了，人工智能的进展，远远没有达到图灵试验的标准。 这不仅让多年翘首以待的人们，心灰意冷，认为人工智能是忽悠，相关 领域是 “伪科学”。 但是自 2006 年以来，机器学习领域，取得了突破性的进展。 图灵试验，至少不是那么可望而不可及了。至于技术手段，不仅仅依赖 于云计算对大数据的并行处理能力，而且依赖于算法。这个算法就是， DeepLearning。借助于 DeepLearning 算法，人类终于找到了如何处 理 “抽象概念”这个亘古难题的方法。 2012年6月，《纽约时报》披露了GoogleBrain项目，吸引了公 众的广泛关注。这个项目是由著名的斯坦福大学的机器学习教授 Andrew Ng和在大规模计算机系统方面的世界顶尖专家JeffDean共同 主导，用16000个CPUCore的并行计算平台训练一种称为 “深度神经 网络” DNN，DeepNeuralNetworks）的机器学习模型（内部共有 10亿个节点。这一网络自然是不能跟人类的神经网络相提并论的。要知 道，人脑中可是有150多亿个神经元，互相连接的节点也就是突触数更 是如银河沙数。曾经有人估算过，如果将一个人的大脑中所有神经细胞 的轴突和树突依次连接起来，并拉成一根直线，可从地球连到月亮，再 从月亮返回地球），在语音识别和图像识别等领域获得了巨大的成功。 项目负责人之一Andrew称： “我们没有像通常做的那样自己 框定边界，而是直接把海量数据投放到算法中，让数据自己说话，系统 会自动从数据中学习。”另外一名负责人Jeff则说：“我们在训练的时 候从来不会告诉机器说： ‘这是一只猫。’系统其实是自己发明或者领 悟了 “猫”的概念。” 2012年11月，微软在中国天津的一次活动上公开演示了一个全 自动的同声传译系统，讲演者用英文演讲，后台的计算机一气呵成自动 完成语音识别、英中机器翻译和中文语音合成，效果非常流畅。据报道， 后面支撑的关键技术也是DNN，或者深度学习 DL，DeepLearning）。 2013年1月，在百度年会上，创始人兼CEO李彦宏高调宣布要 成立百度研究院，其中第一个成立的就