spark环境配置.doc

一、安装JDK、Hadoop、 Spark、Scala等，搭建spark集群 环境:CentOS 6.4, Hadoop 1.1.2, JDK 1.7, Spark 0.7.2, Scala 2.9.3 折腾了几天，终于把Spark 集群安装成功了，其实比hadoop要简单很多，由于网上有哪些信誉好的足球投注网站到的博客大部分都还停留在需要依赖mesos的版本，走了不少弯路。 1. 安装 JDK 1.7 yum search openjdk-devel sudo yum install java-1.7.0-openjdk-devel.x86_64 /usr/sbin/alternatives --config java /usr/sbin/alternatives --config javac sudo vim /etc/profile # add the following lines at the end export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-9.x86_64 export JRE_HOME=$JAVA_HOME/jre export PATH=$PATH:$JAVA_HOME/bin export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar # save and exit vim # make the bash profile take effect immediately $ source /etc/profile # test $ java -version 参考我的另一篇博客， HYPERLINK /blog \t /hxpjava1/article/details/_blank 安装和配置CentOS服务器的详细步骤。 2. 安装 Scala 2.9.3 Spark 0.7.2 依赖 Scala 2.9.3, 我们必须要安装Scala 2.9.3. 下载? HYPERLINK /downloads/distrib/files/scala-2.9.3.tgz \t /hxpjava1/article/details/_blank scala-2.9.3.tgz?并 保存到home目录. $ tar -zxf scala-2.9.3.tgz $ sudo mv scala-2.9.3 /usr/lib $ sudo vim /etc/profile # add the following lines at the end export SCALA_HOME=/usr/lib/scala-2.9.3 export PATH=$PATH:$SCALA_HOME/bin # save and exit vim #make the bash profile take effect immediately source /etc/profile # test $ scala -version 3. 下载预编译好的Spark 下载预编译好的Spark,? HYPERLINK /download-spark-0.7.2-prebuilt-hadoop1 \t /hxpjava1/article/details/_blank spark-0.7.2-prebuilt-hadoop1.tgz. 如果你想从零开始编译，则下载源码包，但是我不建议你这么做，因为有一个Maven仓库，, 被墙了，导致编译时需要翻墙，非常麻烦。如果你有DIY精神，并能顺利翻墙，则可以试试这种方式。 4. 本地模式 4.1 解压 $ tar -zxf spark-0.7.2-prebuilt-hadoop1.tgz 4.2 设置SPARK_EXAMPLES_JAR 环境变量 $ gedit /etc/profile # add the following lines at the end export SPARK_EXAMPLES_JAR=/home/jay/spark-0.7.2/examples/target/scala-2.9.3/spark-examples_2.9.3-0.7.2.jar # save and exit vim #make the bash profile take effect immediately $ source /etc/profile 这一步其实最关键，很不幸的是，官方文档和网上的博客，都没有提及这一点。我是偶然看到了这两篇帖子， HYPERLINK /forum/?fromgroups \l !topic/spark-users/nQ6wB2lcFN8 \t /hxpjava1