深度学习.完整版课件文档.pptVIP

深度学习;深度学习;背景;从机器学习的模型构造层次来分，机器学习经历了两次浪潮：

1、浅层学习〔ShallowLearning〕：机器学习第一次浪潮

2、深度学习〔DeepLearning〕：机器学习第二次浪潮;浅层学习;深度学习;区别于传统的浅层学习，深度学习的不同在于：

1〕强调了模型构造的深度，通常有5层、6层，甚至10多层的隐层节点；

2〕明确突出了特征学习的重要性，也就是说，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更加容易。与人工规那么构造特征的方法相比，利用大数据来学习特征，更能够刻画数据的丰富内在信息。;浅层学习的局限性在于有限样本和计算单元情况下对复杂函数的表示能力有限，针对复杂分类问题其泛化能力受到一定制约。

深度学习可通过学习一种深层非线性网络构造，实现复杂函数逼近，表征输入数据分布式表示，并展现了强大的从少数样本中集中学习数据集本质特征的能力。〔多层的好处是可以用较少的参数表示复杂的函数〕;为了实现分类，我们就可以在AutoEncoder的最顶的编码层添加一个分类器〔例如罗杰斯特回归、SVM等〕，然后通过标准的多层神经网络的监视训练方法〔梯度下降法〕去训练。

直观上说，就是找到有意义的小碎片〔patch〕，再将其进展组合〔combine〕，就得到了上一层的特征〔feature〕，递归地向上学习特征〔learningfeature〕。

机器学习〔MachineLearning〕是一门专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识构造使之不断改善自身的性能的学科。

降噪自动编码器DA是在自动编码器的根底上，训练数据参加噪声，所以自动编码器必须学习去去除这种噪声而获得真正的没有被噪声污染过的输入。

DavidField使用稀疏编码的方式来解决这个问题。

而抽象层面越高，存在的可能猜测就越少，就越利于分类。

自动编码器〔AutoEncoder〕

直观上说，就是找到有意义的小碎片〔patch〕，再将其进展组合〔combine〕，就得到了上一层的特征〔feature〕，递归地向上学习特征〔learningfeature〕。

这意味着输入I经过每一层Si都没有任何的信息损失，即在任何一层Si，??都是原有信息〔即输入I〕的另外一种表示。

深度学习的实质，是通过构建具有很多隐层的机器学习模型和海量的训练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。

2006年，加拿大多伦多大学教授、机器学习领域的泰斗GeoffreyHinton等在?Science?上发表了一篇文章[1]，开启了深度学习在学术界和工业界的浪潮。

与人工规那么构造特征的方法相比，利用大数据来学习特征，更能够刻画数据的丰富内在信息。

即采用迭代的算法来训练整个网络，随机设定初值，计算当前网络的输出，然后根据当前计算的输出值和实际的标记值之间的差去改变前面各层的参数，直到收敛〔整体是一个梯度下降法〕。

因为是无标签数据，所以误差的来源就是直接重构后与原输入相比得到。

总的来说，人的视觉系统的信息处理是分级的。

经过上面的方法，每一层都会得到原始输入的不同的表达。

即采用迭代的算法来训练整个网络，随机设定初值，计算当前网络的输出，然后根据当前计算的输出值和实际的标记值之间的差去改变前面各层的参数，直到收敛〔整体是一个梯度下降法〕。

即采用迭代的算法来训练整个网络，随机设定初值，计算当前网络的输出，然后根据当前计算的输出值和实际的标记值之间的差去改变前面各层的参数，直到收敛〔整体是一个梯度下降法〕。;

2021年1月，在百度年会上，创始人兼CEO李彦宏高调宣布要成立百度研究院，其中第一个成立的就是“深度学习研究所〞。

2021年3月谷歌收购了加拿大神经网络方面的创业公司DNNresearch，DNNresearch公司是由多伦多大学教授GeoffreyHinton与他的两个研究生于去年成立，本次收购实质上属于人才性收购。?;人脑视觉机理;人脑视觉机理;特征;1995年前后，DavidField试图同时用生理学和计算机的手段，研究视觉问题。

他们收集了很多黑白风景照片，从这些照片中，提取出400个大小一样的小碎片，再从这些黑白风景照片中，随机提取另一个碎片T。

如何从这400个碎片中，选取一组碎片合成出一个新的碎片，而这个新的碎片，应当与随机选择的目标碎片T，尽可能相似，同时，选取的碎片的数量尽可能少。;;小块的图形可以由根本edge构成，更构造化，更复杂的，具有概念性的图形如何表示呢？

直观上说，就是找到有意义的小碎片〔patch〕，再将其进展组合〔combine〕，就得到了上一层的特征〔feature〕，递归地向上学习特征〔learningfea