- 1、本文档共38页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
深度学习汇报讲解
Deep Learning
深度学习
单东晶
2015.12.7;;;实例1-Google Brain;Google Brain;实例2-微软同声传译;实例3-百度深度学习研究院;;;背景;机器学习解决这些问题的传统思路:
通过传感器(例如CMOS)来获得数据,经过预处理、特征提取、特征选择,再到推理、预测或者识别。;好的特征具有不变性(大小、尺度和旋转等)和良好的可区分性。;;人脑视觉机理;人脑视觉抽象过程;抽象的意义;抽象的数学模型-稀疏编码;稀疏编码(图像);从未标注的声音中提取20种基本的声音结构,其余的声音可以由这20种基本结构合成。
稀疏编码符合对人脑视觉系统的生理发现,外界信号一般会刺激相应的脑神经元。;;Deep Learning基本思想;Deep Learning的常用模型;;自动编码(AutoEncoder)是一种无监督的机器学习技术,利用神经网络产生的低维来代表高维输入。
优化目标是输出值
等于输入值,当
隐藏节点数小于输
入节点时,就实现
了降维。可学习出
与PCA非常相似的
降维表示。
;;(2) 通过编码器产生特征,然后训练下一层,每层均设解码器限制重构误差,这样逐层训练。
(3) 将最后层的特征code输入到最后的分类器,通过有标签样本,通过监督学习进行微调。
;;;通过重构误差构造损失函数,再极小化损失函数求解出编码器参数
重构误差函数可以有两种方式;;Regularized AutoEncoder
相应损失函数加入编码权值矩阵的正则项,对过大的权值进行惩罚。
Sparse AutoEncoder;Sparse AutoEncoder 的数学模型
Sparse AutoEncoder 对隐藏层上的神经元激活度提出要求,要求满足一定的稀疏性。;;训练完(稀疏)自编码器,我们还想把这自编码器学到的函数可视化出来,好弄明白它到底学到了什么。
在该自编码器中,每个隐藏单元i的输出为:
什么样的输入图像可让a得到最大程度的激励?(也就是隐藏单元要找个什么样的特征?)
可证令隐藏单元得到最大激励的输入应由下面公式计算的像素给出(共需计算100个像素,j=1,…,100):
;假如我们训练的自编码器有100个隐藏单元,可视化结果就会包含100幅这样的图像(每个图像是学习到的特征基向量)——每个隐藏单元都对应一幅图像。
;Sparse AutoEncoder练习;Thanks!
文档评论(0)