Hadoop 2.0 上深度学习的解决方案.pdfVIP

Hadoop 2.0 上深度学习的解决方案 伴随着数据的爆炸性增长和成千上万的机器集群，我们需要使算法可以适应在如此分布的环 境下运行。在通用的分布式计算环境中运行机器学习算法具有一系列的挑战。本文探讨了如 何在一个 Hadoop 集群中实现和部署深度学习。 波士顿的 数据科学团队正在利用尖端工具和算法来优化商业活动，且这些商业活动是基于 对用户数据中的深刻透析。数据科学大量使用机器算法，可以帮助我们在数据中识别和利用 模式。从互联网大规模数据中获取透析是一项具有挑战性的任务，因此，能大规模运行算法 是一个至关重要的需求。伴随着数据的爆炸性增长和成千上万的机器集群，我们需要使算法 可以适应在如此分布的环境下运行。在通用的分布式计算环境中运行机器学习算法具有一系 列的挑战。 这里，我们探讨一下如何在一个 Hadoop 集群中实现和部署深度学习（一个尖端机器学习框 架）。对于算法是如何适应运行在一个分布式环境中，我们提供了具体的细节。我们也给出 了算法在标准数据集上的运行结果。 深度信任网络 深度信任网络（Deep Belief Networks, DBN）是在贪婪和无监督的条件下通过迭代和训练 受限的玻耳兹曼机（Boltzmann Machines, RMB）而得到的图形模型。通过对如下可被观 察的维度 x 和隐藏层 hk 之间相互连接的分布式进行建模，DBN 被训练来提取训练数据的深 层透析。 表达式 1：DBN 分布式 在下图中，输入层和隐藏层的关系是可以被观察到的。从高层次来看，第一层被作为 RBM 来训练，为原始输入 x 进行建模。输入的数据是个稀疏二进制维度，表明数据将会被分类， 比如，一个二进制的数字图像。后续层把前面的层传递过来的数据（样本或 activations）当 作训练示例使用。层数可以通过经验来决定，以此来获得更好的模型性能，DBN 支持任意 多的层数。 图 1：DBN 层次 下面的代码片段表明了进入 RBM 的训练。在提供给 RBM 的输入数据中，有多个预定义的 时间点。输入数据被分成小批量数据，为各个层计算 weights、activations 和 deltas。 在所有的层都被训练以后，深度网络的参数调整使用受监督的训练标准。受监督的训练标准， 比如，可以作为一个分类问题来设计，允许使用深度网络来解决分类问题。更复杂的受监督 的标准可以用来提供如情景解读之类的有趣的结果，比如解释图片里展示的东西是什么。 基础构造 深度学习受到了广泛的关注，不仅仅是因为它可以得出比其他一些学习算法更优异的结果， 也因为它可以在分布式设备上运行，允许处理大规模的数据集。深度网络可以在两个级别进 行并行、层级别和数据级别[6]。对于层级别的并行，许多实现使用 GPU 数组来并行计算层 级别 activations 和频繁同步它们。然而，这种方法不适合那种数据驻留在通过网络连接的 多个机器的集群，因为有着较高的网络开销。对于数据层的并行，训练是在数据集上进行并 行的，更适合分布式设备。Paypal 的大部分数据存储在 Hadoop 集群上，因此能够运行那 些集群上的算法是我们的首要任务。专用集群的维护和支持也是一个我们需要考虑的重要因 素。然而，由于深度学习本质上是迭代的，像 MapReduce 这样的范式不适合运行这些算法。 但是随着 Hadoop2.0 和基于 YARN 的资源管理的问世，我们可以编写迭代程序，同时可以 精细地控制程序使用的资源。我们使用了 IterativeReduce [7] , Hadoop YARN 里面的一个 用户编写迭代算法的程序，我们可以将它部署在一个运行 Hadoop 2.4.1 的 Paypal 集群中。 方法 我们实现了 Hinton 的核心算法，在[2]中引用