深度卷积神经网络106页课件.pptVIP

目录

神经网络简要介绍

冫经典深度神经网络模型

·LeNet

AlexNet

·VGGNet

NetworkinNetwork(MIN)

GoogLeNet

·ResNet

深度学习框架及实例

深度学习在计算机视觉中的应用

目录

神经网络简要介绍

产经典深度神经网络模型

AlexNet

VGGNet

NetworkinNetwork(MIN

ResNet

深度学习框架简介

在计算机视觉中的应用

神经网络简要介绍

多层神经网路

第一次兴起(1958年)

神经网络兴衰史

知机,由于没有引入

不能求解异或问题。

单己经网络

第二次兴起(1986年):将

BP(BackPropagation)算法用

于AN的训练过程

第三次兴起(2012年):深

度卷积神经网络的兴起

直到现在

定

BP算法:信号的正向传播

和误差的反向传播。

深度卷积神经网络介绍

机器学习

机器学习,神经网络,

神经网络

深度学习之间的关系

深度学习

CNN/RNN

人工神经网络发展历程

第二次高潮:第三次浪潮

GE.Hinton

r第

次高潮:1SV

Ylecu

r萌芽期

ibOosting

Andrew

Schapire95

Robfergus

1940s196s

1980s

200s

模型感知器模型|Hopfield网络

深度网络

阈值加和自适应

Boltzman

机

DBN

模型

线性单元

BP算法

Heb学习

LeCun98DeepCNn

规则

RNN

低谷

人工神经网络发展历程

DeepLearning,Science2006(vol.313,pp504-507)

ReducingtheDimensionalityof

DatawithNeuralNetworks

GE.HintonandR.R.Salakhutdinoy

两个重要的信息

1.具有多个隐层的人工神经网络具有优异的特征学习能力,

学习得到的特征对数据有更本质的刻画,从而有利于可

视化或分类

2.深度神经网络在训练上的难度,可以通过“逐层初始化”

Layer-wisePre-training))来有效克服

Neuralnetworksarecomingback!

人工神经网络发展历程

在语音识别取得重大突破

2011年以来,错误

率降低20-30%!

2012年11月,微软在天津的一次活动上公开演示了一个全自

动的同声传译系统,讲演者用英文演讲,后台的计算机一气

呵成自动完成语音识别、英中机器翻译,以及中文语音合成,

效果非常流畅。

人工神经网络发展历程

ooglebraini项目(纽约时报2012年6月报道)

Diagona

:水

吴恩达

2011年开始,GoogleBrain项目采用1500CPUCorep的并行计算

平台训练“深层神经网络”,在图像识别等领域获取巨大成功!

人工神经网络发展历程

Alphabet

AlphaGoMaster90柯洁A0elo

100:0战胜Lee版本,89:11

战胜Master版本

harAn

2017年1

2017年10

AlphaGoLee64李世石

AlphaZero:最大特点是无需

人类棋谱,仅利用围棋规

AlphaGoFan5:0樊麾

人工神经网络发展历程

flickrEiteramazon

发展基础:

BEFILI3)bayou

√数据爆炸:图像数据、文本数据、语音数

REUTERS9

据、社交网络数据、科学计算等

A

√计算性能大幅提高

为什么有效

浅层神经网络可以近似任意函数,为何多层?

√深层网络结构中,高层可以综合应用低层信息

√低层关注“局部”,高层关注“全局”、更具有语

义化信息。

√为自适应地学习非线性处理过程提供了一种可能的

简洁、普适的结构模型。

√特征提取与分类器可以一起学习。