hadoop VMWare cluster 设置.docx

Hadoop cluster 安装配置一：分布式hadoop架构：基于虚拟机的安装在一个分布式 Hadoop 设置中，您有一个主节点和一些从节点（见图 1）。图1如图 1 所示，主节点包括namenode、secondarynamenode和 jobtracker 守护进程（即所谓的主守护进程）。此外，这是您为本演示管理集群所用的节点（使用 Hadoop 实用程序和浏览器）。从节点包括 tasktracker 和datanode（从属守护进程）。两种设置的不同之处在于，主节点包括提供 Hadoop 集群管理和协调的守护进程，而从节点包括实现 Hadoop 文件系统（HDFS）存储功能和 MapReduce 功能（数据处理功能）的守护进程。对于本文，在一个 LAN 上创建一个主节点和两个从节点。设置如图 2 所示。现在，我们来探讨用于多节点分布的 Hadoop 的安装和配置。图2为简化部署，要运用虚拟化技术，该技术有几个好处。尽管在该设置中使用虚拟化技术看不出性能优势，但是它可以创建一个 Hadoop 安装，然后为其他节点克隆该安装。为此，您的 Hadoop 集群应显示如下：在一个主机上的虚拟机监控程序上下文中将主从节点作为虚拟机（VM）运行（见图 3）。图3Vmware7.1下安装1、下载 /centos/5.5/isos/i386/CentOS-5.5-i386-bin-DVD.iso2、新建虚拟机，设置从ISO启动，网络连接方式设为NAT指定用户名:grid 密码 grid 其他的可以按照默认配置。3、虚拟机在设置后会自动重启，然后初始化工作，复制一些文件。等待一段时间后，停留在欢迎界面输入用户名：grid 密码grid就可以进去centos的桌面。安装成功。切换到ROOT用户：用” su – ” 切换ROOT用户。二、配置linux的IP及Hostname、DNS、防火墙2.1 配置IP地址,执行：#vi /etc/sysconfig/network-scripts/ifcfg-eth0改为下面内容，DEVICE=eth0BOOTPROTO=staticNM_CONTROLLED=yesONBOOT=yesIPADDR=36NETMASK=然后service network restart 重启，执行ifconfig 查看当前ip看是否修改成功。2.2 修改主机名,执行 #vi /etc/sysconfig/network，改为下面内容，然后ping lifeba141 ping通表示配置正常。 HOSTNAME=centos1 GATEWAY=2.3 修改DNS，执行 #vi /etc/resolv.conf，加入： nameserver 每次启动后 /etc/resolv.conf都被改动，把nameserver行都删掉了,导致上不了网，如何解决？方法1. 修改这个文件有时不起作用，可以直接在centos6的网络连接里面设置DNS方法2. 必须要在/etc /sysconfig/network-scripts/ifcfg-eth0里面最后加上dns的设置;要不然，重启后，肯定使用eth0设置中没有设 dns的相关信息，使/etc/resolv.conf恢复到原来的状态。在此要强调一点的是，直接修改/etc/resolv.conf这个文件是没用的，网络服务重启以后会根据/etc/sysconfig /network-scripts/ifcfg-eth0来重载配置，如果ifcfg-eth0没有配置DNS，那么resolv.conf会被冲掉，重新变成空值。此时，可以上互联网了。#vi /etc/hosts36 centos1.domain centos137 centos2.domain centos238 centos3.domain centos32.5禁用防火墙关闭CENTOS不必要的默认服务#chkconfig --level 2345 iptables off#chkconfig --level 2345 ip6tables offchkconfig 是 Linux 中基于命令行的服务管理工具，chkconfig 可以用于启用和禁用系统服务。执行 chkconfig --list 命令能够得到所有系统服务的列表，以及它们在每个运行级别的启动状态(启用/关闭)。最后，重复2.1-2.4，对另外两台虚拟机进行配置：centos2 37centos3 38配置完毕，重启nodes.测试本机和虚拟机互ping IP 通（注意关闭防火墙），但是ping主机名不通。1.禁用firewall2.附件：vmware中nat模式上网配置1.host主机（windows）1.a.必须检查你的/os/wind