Spark集群搭建与测试摘要.docx

精通Spark集群搭建与测试安装 VMwareWorkstation 软件推荐官方下载必威体育精装版版，下载地址：/cn/web/vmware/details?downloadGroup=WKST-1210-WINproductId=524rPId=9763运行VMwareWorkstation，新建4台虚拟机，并安装Ubuntu操作系统Ubuntu下载地址:/download/alternative-downloads需要配置虚拟机使之能够上网，在这里我们采用网络地址转换即NAT的方式，与宿主机共享IP上网：按照下图指定Ubuntu的iso文件，然后点击‘power on this virtual machine’,然后按照提示一步步走下去即可完成操作系统的安装。注1：可以先装好一台机器，然后通过VMware的克隆功能生成另外两台。注2：安装完系统后，为了能从宿主机与虚拟机互相COPY文件，也为了能使虚拟机全屏显示，推荐安装VMwareTools.方法如下：tar -xzvf VMwareTools-9.6.0-1294478.tar.gzcd vmware-tools-distrib/sudo ./vmware-install.pl然后一路回车即可为了简化后续操作中的权限问题，我们在这里配置为root账户登录系统，方法如下：进入root用户权限模式：sudo–svim /etc/lightdm/lightdm.conf[SeatDefaults]user-session=ubuntugreeter-session=unity-greetergreeter-show-manual-login=trueallow-guest=false为root账号设置密码: sudopasswd root重新启动系统后，即可用root账号登录： reboot -h now注1：如果系统提示vim没有安装的话，可以通过apt-get install vim安装。注2：切换为root账户登录后，如果遇到以下问题：请按以下方法解决：vim /root/.profile，将“mesg n”，更改为“tty -s mesg n”。在各个节点修改节点名称，并配置ip地址和hostname的对应关系：vim /etc/hostname, 将4台节点分别命名为master,worker1,worker2,worker3Restart使更改生效验证hostname更改是否生效：用hostname命令在各个节点修改ip地址和hostname的对应关系: vim /etc/hosts验证hostname和ip的映射关系是否正确:用ping 命令注1：用hostname命令验证更改是否生效：注2：用ifconfig来查看当前节点的ip:注3：修改后，各节点的hosts文件如下所示：注4：用Ping命令来验证hostname和ip的映射关系是否正确。在各个节点安装ssh并配置免密码登录。Hadoop是通过ssh进行通信的，所以需要安装SSH;安装完SSH后还需设置免密码登录，才能省去每次通信时都输入密码的麻烦。安装ssh: apt-get install ssh;启动ssh: /etc/init.d/ssh start验证ssh是否正常启动：ps –e | grep ssh.若没有正常启动，可以尝试重启。生产公钥和私钥：ssh-keygen -t rsa将公钥追加到authorized_keys中（authorized_keys用于保存所有允许以当前用户身份登录到ssh客户端的用户的公钥内容）：cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys验证单机上免密码登录是否配置成功：ssh localhost重复以上步骤，在各个节点的/root/.ssh/目录下生成一个公钥id_rsa.pub和一个私钥id_rsa将所有worker节点的公钥复制到master节点上：scp id_rsa.pub root@master:/root/.ssh/id_rsa.pub.worker1scp id_rsa.pub root@master:/root/.ssh/id_rsa.pub.worker2在master节点上，将所有worker的公钥追加到authorized_keys中：cat ~/.ssh/id_rsa.pub.worker1 ~/.ssh/authorized_keyscat ~/.ssh/id_rsa.pub.worker2 ~/.ssh/authorized_keys将master节点的authorized_keys（已经包含了所有节点的公钥）复制到各个worker节点的.ssh目录下：scpauthorized_keysroo