- 1、本文档共106页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
目录
神经网络简要介绍
经典深度神经网络模型
LeNet
AlexNet
VGGNet
Network in Network (MIN)
GoogLeNet
ResNet
深度学习框架及实例
深度学习在计算机视觉中的应用
神经网络简要介绍
经典深度神经网络模型
LeNet
AlexNet
VGGNet
Network in Network (MIN)
GoogLeNet
ResNet
深度学习框架简介
在计算机视觉中的应用
目录
神经网络兴衰史
神经网络简要介绍
第一次兴起(1958年):感知机,由于没有引入非线性,不能求解异或问题。
第二次兴起(1986年):将BP(Back Propagation)算法用于ANN的训练过程。
第三次兴起(2012年):深度卷积神经网络的兴起,一直到现在。
BP算法:信号的正向传播和误差的反向传播。
4
机器学习,神经网络,深度学习之间的关系
深度卷积神经网络介绍
萌芽期
1940s
MP 模型
阈值加和模型
Hebb学习
规则
第一次高潮
1960s
第二次高潮
1980s
第三次浪潮
2000s
感知器模型
自适应-
线性单元
Hopfield网络
Boltzman 机
BP算法
SVM
Vapnik 95
Boosting
Schapire 95
深度网络
DBN
DBM
Deep CNN
RNN
G. E. Hinton
Y. Bengio
Y. Lecun
Andrew Ng
Rob Fergus
人工神经网络发展历程
低谷
CNN
LeCun 98
低谷
Deep Learning, Science 2006 (vol. 313, pp. 504-507)
Neural networks are coming back!
人工神经网络发展历程
在语音识别取得重大突破
百度: deep speech
2011年以来,错误率降低2030%!
2012年11月,微软在天津的一次活动上公开演示了一个全自动的同声传译系统,讲演者用英文演讲,后台的计算机一气呵成自动完成语音识别、英中机器翻译,以及中文语音合成,效果非常流畅。
人工神经网络发展历程
Google Brain项目(纽约时报2012年6月报道)
2011年开始,Google Brain 项目采用16000个CPU Core的并行计算平台训练“深层神经网络”,在图像识别等领域获取巨大成功!
吴恩达
人工神经网络发展历程
100:0战胜Lee版本,89:11战胜Master版本!
AlphaGo Zero
2017年10月
AlphaZero:最大特点是无需人类棋谱,仅利用围棋规则
Alpha-Fan
AlphaGo-Lee
AlphaMaster
AlphaZero
人工神经网络发展历程
为什么有效
浅层神经网络可以近似任意函数,为何多层?
深层网络结构中,高层可以综合应用低层信息。
低层关注“局部”,高层关注“全局”、更具有语义化信息。
为自适应地学习非线性处理过程提供了一种可能的简洁、普适的结构模型。
特征提取与分类器可以一起学习。
人工神经网络发展历程
发展基础:
数据爆炸:图像数据、文本数据、语音数据、社交网络数据、科学计算等
计算性能大幅提高
神经网络简要介绍
人类视觉机理:
David Hubel和TorstenWiesel发现了视觉系统的信息处理方式,即视皮层的分级特性,获得1981年诺贝尔生理学或医学奖。
Low-level
sensing
Preprocessing
Feature
extraction
Feature
selection
Inference:
prediction,
recognition
本图取自:/ai-artificial-intelligence-deep-machine-learning/
Training: during the training phase, a neural network is fed thousands of labeled images of various animals, learning to classify them
Input: An unlabeled image is shown to the pre-trained network
First Layer: the neurons respond to different simple shapes, like edges
High Layer: the neurons respond to more complex structures
Top Layer: the neurons respond to highly complex, abstrac
文档评论(0)