浅谈深度学习.ppt

浅谈深度学习（Deep Learning） * 制作者：刘红敬 专 业：计算机技术 主要内容 2006年以来，机器学习领域中一个叫“深度学习”的课题开始受到学术界广泛关注，如今拥有大数据的互联网公司争相投入大量资源研发深度学习技术。 一、机器学习 二、为什么有 Deep learning？Why? 三、什么是 Deep learning？What? 四、怎么来的？ 五、Deep learning与神经网络的异同 * 一、机器学习 机器学习（Machine Learning）是一门专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能的学科。 简单的说，机器学习就是通过算法，使得机器能从大量的历史数据中学习规律，从而对新的样本做智能识别或预测未来。 1959年美国的塞缪尔(Samuel)设计了一个下棋程序，这个程序具有学习能力，它可以在不断的对弈中改善自己的棋艺。4年后，这个程序战胜了设计者本人。又过了3年，这个程序战胜了美国一个保持8年之久的常胜不败的冠军。这个程序向人们展示了机器学习的能力，提出了许多令人深思的社会问题与哲学问题。 这种程序水平达到一定程度很容易，但再进一步就不容易了。深蓝是90年代机器学习理论有了突破之后才出来的。 * 二、Why? 机器学习虽然发展了几十年，但还是存在很多没有良好解决的问题。例如以视觉感知为例，通过机器学习去解决这些问题的思路： Input Feature Representation Learning Algorithm 手工选取特征不太好，那么能不能自动地学习一些特征呢？ 答案是能！Deep Learning就是用来干这个事情的，它有一个别 名Unsupervised Feature Learning。 Why？ 答案：让机器自动学习良好的特征，而免去人工选取过程。 * 三、What？ 深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。 深度学习是无监督学习的一种。 深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。 * 四、怎么来的？ 从机器学习的模型结构层次来分，机器学习经历了两次浪潮： 1、浅层学习（Shallow Learning）：机器学习第一次浪潮 2、深度学习（Deep Learning）：机器学习第二次浪潮 * 1、浅层学习 20世纪80年代末期，由于人工神经网络的反向传播算法（BP算法）的发明，给机器学习带来了希望，掀起了基于统计模型的机器学习热潮。这个热潮一直持续到今天。 基于统计的机器学习方法可以让一个人工神经网络模型从大量训练样本中学习统计规律，从而对未知事件做预测。 这个时候的人工神经网络，虽也被称作多层感知机（Multi-layer Perceptron），但实际是一种只含有一层隐层节点的浅层模型。 * 1、浅层学习 20世纪90年代，各种各样的浅层机器学习模型相继被提出，例如支撑向量机（SVM）、 Boosting、最大熵方法（LR）等。 这些模型的结构基本上可以看成带有一层隐层节点（如SVM、Boosting），或没有隐层节点（如LR）。这些模型无论是在理论分析还是应用中都获得了巨大的成功。 相比之下，由于理论分析的难度大，训练方法又需要很多经验和技巧，这个时期深度人工神经网络反而相对沉寂。 * 2、深度学习 2006年，加拿大多伦多大学教授、机器学习领域的泰斗Geoffrey Hinton