二零二三年 优质公开课Spark安装集群.pptx

孟繁兴 0102目录集群概况0304配置Spark关闭Spark集群启动Spark集群 集群概况masterslave1slave206NameNode/JobHistoryserver/ResourceManager/SecondaryNameNode/Master07DataNode/NodeManager/Worker08DataNode/NodeManager/Worker Spark安装目录包解析 Spark配置（1）配置spark-env.sh文件将 spark-env.sh.template 拷贝到 spark-env.shcp ./conf/spark-env.sh.template ./conf/spark-env.sh编辑spark-env.sh,添加如下内容：export JAVA_HOME=/usr/local/jdkexport SCALA_HOME=/usr/share/scala/export HADOOP_HOME=/export/servers/hadoopexport HADOOP_CONF_DIR=/export/servers/hadoop/etc/hadoopexport SPARK_MASTER_IP=masterexport SPARK_MASTER_PORT=7077 Spark配置slaves文件spark-defaults.confSpark主节点所在机器及端口，spark://默认写法是否打开任务日志功能，默认为false，即不打开任务日志默认存放位置，配置为一个HDFS路径即可(2)修改slaves文件和spark-defaults.conf文件 Spark配置配置好后，将Master主机上的/usr/local/spark文件夹复制到各个节点上在Master主机上执行如下命令：cd /usr/local/tar -zcf ~/spark.master.tar.gz ./sparkcd ~scp ./spark.master.tar.gz slave01:/home/hadoopscp ./spark.master.tar.gz slave02:/home/hadoop在slave01,slave02节点上分别执行下面同样的操作：rm -rf /usr/local/spark/tar -zxf ~/spark.master.tar.gz -C /usr/localchown -R hadoop /usr/local/spark 启动Spark集群（1）首先启动Hadoop集群。在Master节点主机上运行如下命令：cd /usr/local/hadoop/sbin/start-all.sh（2）启动Master节点在Master节点主机上运行如下命令：cd /usr/local/spark/sbin/start-master.sh（3）启动所有Slave节点在Master节点主机上运行如下命令：$ sbin/start-slaves.sh 启动Spark集群（4）在浏览器上查看Spark独立集群管理器的集群信息在Master主机上打开浏览器，访问http://master:8080,如下图： 关闭Spark集群（1）关闭Master节点sbin/stop-master.sh（2）关闭Worker节点sbin/stop-slaves.sh（3）关闭Hadoop集群cd /usr/local/hadoop/sbin/stop-all.sh在Master节点上执行下面命令