二零二三年 优质公开课Spark安装部署.pptx

孟繁兴 0102目录环境准备集群概况0304Spark安装目录包解析安装Spark 集群概况masterslave1slave2192.168.1.106NameNode/JobHistoryserver/ResourceManager/SecondaryNameNode/Master192.168.1.107DataNode/NodeManager/Worker192.168.1.108DataNode/NodeManager/Worker 环境准备由于Spark仅仅是一种计算框架，不负责数据的存储和管理，因此，通常都会将Spark和Hadoop进行统一部署，由Hadoop中的HDFS、HBase等组件负责数据的存储管理，Spark负责数据计算。安装Spark集群前，需要安装Hadoop环境，Linux系统：CentOS_6.7版本Hadoop：2.7.5版本JDK：1.8版本Scala：2.11版本 安装Spark在Master节点上，访问Spark官网下载Spark安装包tar -zxf ~/spark-2.4.6-bin-hadoop2.7.tgz -C /usr/local/cd /usr/localmv ./spark-2.4.6-bin-hadoop2.7/ ./sparkchown -R hadoop ./spark 配置环境变量在Master节点主机的终端中执行如下命令：$ vim ~/.bashrc在.bashrc添加如下配置：export SPARK_HOME=/usr/local/sparkexport PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin$ source ~/.bashrc运行source命令使得配置立即生效： Spark安装目录包解析