【六月】自动编码机.pptx

自动编码机 2014-7-4 Doral 给定无标签数据，用非监督学习学习特征 通过编码器产生特征，逐层训练 通过有标签数据，进行监督学习的微调 Sparse AutoEncoder 压缩编码 稀疏性 隐藏神经元 j 的平均活跃度： 近似的加入一条限制（P是稀疏性参数）： 惩罚因子: 代价函数: 相对熵在   时达到它的最小值0 Denoising AutoEncoders 样本x按照qD分布加入随机噪声 直观解释 Bengio对dAE的直观解释为： 1.dAE有点类似人体的感官系统，比如人眼看物体时，如果物体某一小部分被遮住了，人依然能够将其识别出来， 2.多模态信息输入人体时（比如声音，图像等），少了其中某些模态的信息有时影响也不大。 3.普通的autoencoder的本质是学习一个相等函数，即输入和重构后的输出相等，这种相等函数的表示有个缺点就是当测试样本和训练样本不符合同一分布，即相差较大时，效果不好，明显，dAE在这方面的处理有所进步。