Graphlab并行集群安装教程.docxVIP

Graphlab并行集群安装教程 GraphLab是CMU（卡耐基梅隆大学）开发的一个以vertex为计算单元的大规模图处理系统，是继google的Pregel之后的第一个开源的大规模图处理系统，它解决了传统mapreduce框架对于机器学习应用的处理中最突出的两个问题（频繁迭代计算和大量节点通信）引起的计算效率的问题，与Haloop，Twister等基于mapreduce批量处理不同的是，它采用Pregel的以vertex为计算单元，并将机器学习抽象成GAS（gather，apply，scatter）三个步骤，然后按该抽象模型设计实现算法，事实已经证明该框架对于机器学习这一类跟图处理关系紧密的应用有很好的效果。最近这几天在实验室集群上搭建了GraphLab分布式计算环境。这篇文章主要总结一下搭建过程和碰到的问题。1）介绍一下实验室集群的环境。集群中总共有9台机器，每台机器有CPU核4个，内存8G。每台机器上都安装了64位Ubuntu 12.04 Desktop版操作系统。注意，根据GraphLab官方安装指南（We?require?a 64-bit operating system.），要安装GraphLab，操作系统必须是64位的。2）为每台机器安装GraphLab的依赖库。在每台机器上运行如下的命令：sudo apt-get installgcc g++ build-essential libopenmpi-dev openmpi-bin default-jdkcmake zlib1g-dev git3）从GitHub上下载GraphLab。选取集群中的一台机器，进入要安装GraphLab的目录，使用如下的git命令下载GraphLab。cd ~ # 我将GraphLab安装在了主目录下git clone /graphlab-code/graphlab.git由于GraphLab项目比较大，下载需要花费一定的时间。下载完成之后，会在当前目录下看到一个名为graphlab的文件夹。4）编译GraphLab。? ?进入graphlab文件夹，使用graphlab自带的configure脚本配置编译环境：cdgraphlab./configure?配置成功后会在graphlab文件夹内生成release和debug两个新的目录。这两个目录分别对应不同项目的发行版和测试版，在这两个目录中都可以编译GraphLab的所有Toolkit，分别对应发行版和测试版。编译后发行版与测试版的不同是，发行版在编译过程中程序都做了优化，运行速度更快。因此，我的编译选择在release目录中进行。还有一点需要特别指出，GraphLab不仅提供了分布式大规模图计算模型，而且基于该模型实现了很多实用的工具集，这些工具集可以分成六类：主题建模、图分析、聚类、协同过滤、图模型和计算机视觉。可以根据自己的需要只编译其中的某一类或几类。如果全部编译，第一次编译时会下载很多的库文件，耗费很长时间。我只对其中的图分析工具集比较感兴趣，所以只编译了这一个。同时我也编译了apps目录中的相应样例代码。编译release目录下的apps子目录：cd release/appsmake -j 3?第二行中的参数-j 3是利用了make的并行编译特性，3指的是同时进行三个编译任务。该数字越大，并行性越高，编译速度越快，但是占用内存也越多。如果该数字过大，会因内存不够用而使编译过程卡住。编译release目录下的toolkits中的graph_analytics：cd release/toolkits/graph_analyticsmake -j 3?如果希望编译整个GraphLab，那么可以在release目录下运行如下命令：cd releasemake -j 3?5) 配置SSH。GraphLab要求集群中任意两台机器之间能够实现SSH无密码登录。首先要确保每台机器上都已经安装了openssh-server:sudo apt-get installopenssh-server?接着在每台机器上生成公钥和私钥对，一路回车即可：ssh-keygen -t rsa?最后是配置任意两台机器间的无密码ssh登录。比如A和B两台机器，若要在A上能够无密码ssh登录到B,可以在A上运行如下命令：ssh-copy-idhostname-of-B?其中hostname-of-B指的是B的主机名。如果集群中机器数量很多，任意两台机器都配置一遍显然太麻烦了。一种简单的策略是，先配置其中一台机器到集群中所有机器的（包括ssh到自己的），然后将该台机器中$HOME/.ssh/authorized_keys