Spark平台架构与搭建配置.pptx

大数据计算平台《大数据导论》课程Introduction to big data Spark整体架构和模块Spark配置01 Standalone模式使用命令：bin/spark-shell --master spark://hadoop:7077 Spark on mesos 模式（已启动Hadoop集群）运行该模式首先得安装mesos 配置yum源使用命令：yum install http://repos.mesosphere.io/el/7/noarch/RPMS/mesosphere-el-repo-7-1.noarch.rpm下载mesos包文件使用命令：yum install -y mesos 安装zookeeper使用命令：tar -zxvf zookeeper-3.4.6.tar.gz使用命令：mv zookeeper-3.4.6 /opt/zookeeper使用命令：mv zoo-sample.cfg zoo.cfg 修改文件zoo.cfg内容启动zookeeper使用命令：bin/zkServer.sh start 修改mesos运行参数修改master参数使用命令：vim /etc/default/mesos-master修改slave参数使用命令：vim /etc/default/mesos-slave 启动服务使用命令：systemctl start mesos-master.servicesystemctl start mesos-slave.service启动成功 Web查看是否成功安装（如果web页面出现表示搭建成功）启动服务 配置spark 在mesos环境spark-env.sh文件使用命令：vi conf/spark-env.sh（当前在spark目录中）spark-defaults.conf文件使用命令：vi conf/spark-defaults.conf（当前在spark目录中） 启动HDFS并将二进制spark文件上传至HDFS中创建目录使用命令：bin/hdfs dfs -mkdir /user/spark2. 上传文件使用命令：bin/hdfs dfs -put /home/hadoop/spark-2.4.4-bin-hadoop2.6.tgz /user/spark3.查看是否上传成功使用命令：bin/hdfs dfs -ls -R /user/spark 启动spark on mesos服务使用命令：./bin/spark-shell --master mesos://29:5050测试 谢谢观看数大义之方， 论万物之据 。受益终身!