一天搞懂深度学习-1.ppt

深度学习 智慧融入街镇 目录 content 历史与背景 基本思想 经典模型 1-1 历史与背景 假设我们要让程序判断下面的图像是否为猫： 判断图像是否为猫的规则该怎么描述？用枚举的方法，即为每张可能的图像对应一个结果（是猫，不是猫），根据这个对应规则进行判定。对于高度和宽度都为256像素的黑白图像，如果每个像素值的值是0-255之间的整数，根据排列组合原理，所有可能的图像数量为： 所以，与其总结好知识告诉人工智能，还不如让人工智能自己去学习知识。要识别猫的图像，可以采集大量的图像样本，其中一类样本图像为猫，另外的不是猫。然后把这些标明了类别的图像送入机器学习程序中进行训练。——机器学习 1-1 历史与背景 机器学习发展阶段 1980s：登上历史舞台 1990-2012：走向成熟和应用 2012：深度学习时代神经网络卷土重来 1980年机器学习作为一支独立的力量登上了历史舞台。典型的代表是：1984：分类与回归树      1986：反向传播算法      1989：卷积神经网络 代表性的重要成果有： 1995：支持向量机（SVM） 1997：AdaBoost算法 1997：循环神经网络（RNN）和LSTM 2000：流形学习 2001：随机森林 在与SVM的竞争中，神经网络长时间内处于下风，直到2012年局面才被改变。由于算法的改进以及大量训练样本的支持，加上计算能力的进步，训练深层、复杂的神经网络成为可能，它们在图像、语音识别等有挑战性的问题上显示出明显的优势。 1958: Perceptron (linear model) 1969: Perceptron has limitation 1980s: Multi-layer perceptron Do not have significant difference from DNN today 1986: Backpropagation Usually more than 3 hidden layers is not helpful 1989: 1 hidden layer is “good enough”, why deep? 2006: RBM initialization 2009: GPU 2011: Start to be popular in speech recognition 2012: win ILSVRC image competition 2015.2: Image recognition surpassing human-level performance  2016.3: Alpha GO beats Lee Sedol 2016.10: Speech recognition system as good as humans Ups and downs of Deep Learning 1-1 历史与背景 1-1 历史与背景 1-1 历史与背景 1-1 历史与背景 1-1 历史与背景 深度学习原理 Neural Network 1-2 基本思想 Neural Network “Neuron” Different connection leads to different network structures Neural Network 1-2 基本思想 8 layers 19 layers 22 layers AlexNet (2012) VGG (2014) GoogleNet (2014) 16.4% 7.3% 6.7% Deep = Many hidden layers 1-2 基本思想 AlexNet (2012) VGG (2014) GoogleNet (2014) 152 layers 3.57% Residual Net (2015) Taipei 101 101 layers 16.4% 7.3% 6.7% Deep = Many hidden layers Special structure 1-2 基本思想 …… …… …… …… …… …… …… …… y1 y2 yM Neural Network W1 W2 WL b2 bL x a1 a2 y y b1 W1 x + b2 W2 + bL WL + … b1 … 1-2 基本思想 …… …… …… …… …… y1 y2 yM Output Layer Hidden Layers Input Layer Feature extractor replacing featu