分类用深度神经网络_20160323.pdfVIP

  分类用用深度度神经网络 1. 从自我我学习到到深层网络 在前一一节中，我我们利用自编编码器来学学习输入至 softmax 或或 logistic 回归分类器器的特征。 这些特征仅仅利用未标标注数据学习习获得。在本节中，我我们描述如何何利用已标标注数据进行行微调，从从 而进一步优优化这些特特征。如果有有大量已标标注数据，通通过微调就就可以显著提提升分类器器的性能。 在自我我学习中，我我们首先利利用未标注数数据训练一一个稀疏自编编码器。随后后，给定一个个新样本 ， 我们通过隐隐含层提取取出特征 。上述过程程图示如下： 我们感感兴趣的是是分类问题题 ，目标是预测样本的类别标号 。我们拥有有标注数据据 集 ，包包含 个个标注样本。。此前我们们已经说明，， 可以利用稀疏自编编码器获得得 的特征 来替代代 原始特征。这样就可获得得训练数据据 集 。最最终，我们们训练出一个个从特征 到类标标号 的的 logistic 分类器。为说说明这一过过程，我们按按照神经网网络一节中的的方式，用用下图描述 logistic 回回 归单元（橘橘黄色）。 1      考虑利利用这个方方法所学到的的分类器（输入-输出映射）。它它描述了一个把测试样样本 映射射 到预测值 的函数。将此前的两两张图片结结合起来，就就得到该函数数的图形表表示。也即， 最终的分类类器可以表表示为： 该模型型的参数通通过两个步骤骤训练获得得：在该网络络的第一层层，将输入 映射至隐隐藏单元激激 活量 的权权值 可可以通过稀稀疏自编码器器训练过程程获得。在第第二层，将隐藏单元 映射至输输 2      出 的权值 可以通过 logistic 回归或 softmax 回归训练获得。 这个最终分类器整体上显然是一个大的神经网络。因此，在训练获得模型最初参数（利用 自动编码器训练第一层，利用 logistic/softmax