Spark集群安装.docx

Spark集群安装环境准备网上的资料真的是太混乱了，写的都是乱七八糟。还得自己动手机器环境使用vmware准备三台机器192.167.2.10 Master192.167.2.11 Slave1192.167.2.12 Slave2注意一定要在/etc/sysconfig/network和hosts中修改主机名称和ip映射。在spark中是通过主机名称来找master。软件环境创建用户spark或者hadoop这个随意，最好修改一下/etc/sudoers文件，让这些用户有sudo的权限方便。需要安装的软件1)jdk-8u92-linux-x64.gz2) hadoop-2.7.3.tar.gz3) spark-2.0.2-bin-hadoop2.7.tgz这是最小安装关闭防火墙Systemctl stop firewalldSystemctldisable firewalld安装java这个简单，我就直接写命令了tar –zvxf jdk-8u92-linux-x64.gzsudo mv jdk1.8.92 /usr/local/jdk修改.bash_profileExport JAVA_HOME=/usr/local/jdkExport PATH=$PATH:$JAVA_HOME/bin然后source .bash_profile使其生效。这个简单，也可以子啊/etc/profile中修改。三个机器要安装。建议三台机器安装的路径要一致。Ssh配置这是一个关键的问题。在192.167.2.10上Ssh-genkey –t rsa在~/.ssh/目录下创建了id_rsa和id_rsa.pub文件，而id_rsa.pub为公钥。Cd ~/.ssh/Cat id_rsa.pub authorized_keysChmod 600 authorized_keys只有将权限修改为600才起作用。使用sshlocalhost测试是否无密码登录本地。将authorized_keys拷贝到192.167.2.11和192.167.2.12上。都是~/.ssh/目录下即~/.ssh/authorized_keys文件。将.ssh目录修改为700,将authorized_keys文件修改为600通过sshSlave1和ssh Slave2来测试是否能无密码登录远程机器。安装hadoop软件安装我使用了用hlf用户，所以在/home/hlf目录，我就在这个目录下完成hadoop和spark的安装。Cd /home/hlfMkdirhadoop将hadoop-2.7.3.tar.gz上传到hadoop目录下Tar –zvxf Hadoop-2.7.3.tar.gz这样/home/hlf/hadoop/hadoop-2.7.3就存在了配置文件在/home/hlf/hadoop/hadoop-2.7.3中的etc/hadoop/是配置文件需要修改的文件：Hadoop-env.shCore-site.xmlHdfs-site.xmlMapred-site.xmlYarn-site.xmlHadoop-env.sh在hadoop-env.sh中添加export JAVA_HOME=/usr/local/jdkCore-site.xml在该文件中用到了临时目录，所以使用mkdir要创建/home/hlf/hpdata/tmp目录。Hdfs-site.xml在该文件中需要使用/home/hlf/hpdata/dfs/data目录和/home/hlf/hpdata/dfs/name目录Mapred-site.xmlYarn-site.xml注意yarn.nodemanager.resource.memory-mb至少为1024Slaves文件在该文件中添加192.167.2.11192.167.2.12分布将/home/hlf/hadoop目录分发大Slave1和Slave2中。运行bin/hdfsnamenode-format进行格式化sbin/start-all.sh启动hadoop系统。安装spark将spark-2.0.2-bin-hadoop2.7.tgz上传到/home/hlf/spark下，解压为spark-2.0.2-bin-hadoop2.7在conf目录中是配置文件，修改spark-env.sh文件和slaves文件Slaves文件添加如下：MasterSlave1Slave2Spark-env.sh启动Spark目录下的sbin/start-all.sh测试Spark目录下bin/pyspark启动python的shell进行测试。总结这是最小的安装和配置，可以作为玩具的类型进行学习和研究。