分布式hadoop与spark集群搭建详解.doc

设置root用户密码，以root用户登录，设置方式如下 sudo -s gedit /etc/lightdm/lightdm.conf [SeatDefaults] greeter-session=unity-greeter user-session=Ubuntu greeter-show-manual-login=true allow-guest=false 启用root帐号：（Ubuntu默认是禁止root账户的） sudo passwd root 设置好密码，重启系统，选择“login”，输入“root”，再输入密码就可以了。 配置机器的/etc/hosts和/etc/hostname并安装ssh设置三台机器之间的无密码登 录，在“/etc/hostname”文件中把三台机器的hostname分别设置了SparkMaster、SparkWorker1、SparkWorker2并在每台机器的“/etc/hosts”配置如下IP和机器名称的对应关系： localhost 31 SparkMaster 32 SparkWorker1 33 SparkWorker2 # The following lines are desirable for IPv6 capable hosts ::1 ip6-localhost ip6-loopback fe00::0 ip6-localnet ff00::0 ip6-mcastprefix ff02::1 ip6-allnodes ff02::2 ip6-allrouters 可通过ipconfig来查看ip地址。 可以ping SparkWorker1来查看ip是否配置成功 下面配置ssh无密码登陆： apt-get install ssh /etc/init.d/ssh start，启动服务 ps -e |grep ssh，验证服务是否正常启动 设置免密登陆，生成私钥和公钥： ssh-keygen -t rsa -P “” 再/root/.ssh中生成两个文件：id_rsa和id_rsa.pub，id_rsa为私钥，id_rsa.pub为公钥，我们将公钥追加到authorized_keys中， cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys 将SparkWorker1、SparkWorker2的id_rsa.pub传给SparkMaster，使用scp命令进行复制： SparkWorker1上， scp ~/.ssh/id_rsa.pub root@SparkMaster:~/.ssh/id_rsa.pub.SparkWorker1 SparkWorker2上， scp ~/.ssh/id_rsa.pub root@SparkMaster:~/.ssh/id_rsa.pub.SparkWorker2 然后将公钥添加到SparkMaster的authorized_keys中， SparkMaster上， cd ~/.ssh cat id_rsa.pub.SparkWorker1 authorized_keys cat id_rsa.pub.SparkWorker2 authorized_keys 再将SparkMaster的authorized_keys复制到SparkWorker1、SparkWorker2的.ssh目录下： scp authorized_keys root@SparkWorker1:~/.ssh/authorized_keys scp authorized_keys root@SparkWorker2:~/.ssh/authorized_keys 至此，ssh无密登陆已配置完毕。 ssh SparkMaster ssh SparkWorker1 ssh SparkWorker2 在一台机器上可以登录其他系统无需密码。 配置java环境 SparkMaster上，jdk-8u25-linux-i586.tar.gz mkdir /urs/lib/java cd /urs/lib/java tar -zxvf jdk-8u25-linux-i586.tar.gz gedit ~/.bashrc 在最后面添加，后面都用得上 #JAVA export JAVA_HOME=/usr/lib/java/jdk1.8.0_25 export JRE_HOME=${JAVA_HOME}/jre export CLASS_PATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export HADOOP_HOME=/usr/local/hadoop/hadoop-