大数据平台搭建spark集群.pdfVIP

Spark1.5.1集群环境

一安装

Spark官网具体版本的文件。spark-1.5.1

解压到指定下，重命名文件夹，修改环境变量

安装方式为spark集群standalone模式，是spark提供的集群模式，没有运行任何资源管

理平台。

大数据软件/home/ncms/bigdata/soft

上传

/home/ncms/bigdata/spark-1.5.1-bin-hadoop2.6

二安装配置修改

/home/ncms/bigdata/spark-1.5.1-bin-hadoop2.6/conf下

2.1slaves文件

配置具体的worker节点

cms-241

cms-240

2.2spark-env.sh

exportJAVA_HOME=/usr/java/jdk1.8.0_20

exportSPARK_MASTER_IP=cms-241

exportSPARK_MASTER_PORT=7077

exportSPARK_WORKER_CORES=2

exportSPARK_WORKER_MEMORY=10g

exportSPARK_WORKER_INSTANCES=2

exportHADOOP_CONF_DIR=/home/ncms/bigdata/hadoop-2.6.0/etc/hadoop

三分发节点

把spark包分发到各个工作节点

scp-r/home/ncms/bigdata/spark-1.5.1-bin-hadoop2.6cms-241:/home/ncms/bigdata/

四启动

本次设置将cms-240定位master服务器。

主节点：执行spark-all.sh

备节点：执行start-master.sh

五测试

1、安装验证

到spark的bin下执行./spark-shell命令，如成功则代表spark安装成功。

2、界面验证

spark管理界面。、

3.在/home/ncms/bigdata/spark-1.5.1-bin-hadoop2.6/bin下测试圆周率计算速度

./run-exampleorg.apache.spark.examples.SparkPi2spark://192.168.8.241:7077