在三台虚拟机上部署多节点Hadoop.docVIP

cd /etc/network vi interfaces 进入vi后，编辑 auto eth0 iface eth0 inet static address IP地址 netmask 掩码 gateway 网关 共有台机器，均使用的系统，Java使用的是IP配置如下：hadoop1：(NameNode) hadoop2：31(DataNode) hadoop3：33 (DataNode) 这里有一点需要强调的就是，务必要确保每台机器的主机名和IP地址之间能正确解析。一个很简单的测试办法就是ping一下主机名，比如在hadoop1上ping hadoop，如果能ping通就OK！若不能正确解析，可以修改/etc/hosts文件，如果该台机器作Namenode用，则需要在hosts文件中加上集群中所有机器的IP地址及其对应的主机名；如果该台机器作Datanode用，则只需要在hosts文件中加上本机IP地址和Namenode机器的IP地址。以本文为例，hadoop1(NameNode)中的/etc/hosts文件看起来应该是这样的?????????hadoop1????????localhost 32??????hadoop1????????hadoop1 31?????hadoop2????????hadoop2 33?????hadoop3????????hadoop3 hadoop2(DataNode)中的/etc/hosts文件看起来就应该是这样的：?????????hadoop2????????localhost 32??????hadoop1????????hadoop1 31?????hadoop2????????hadoop2 hadoop3(DataNode)中的/etc/hosts文件看起来就应该是这样的：?????????hadoop3????????localhost 32??????hadoop1????????hadoop1 33?????hadoop3????????hadoop3 对于Hadoop来说，在HDFS看来，节点分为Namenode和Datanode，其中Namenode只有一个，Datanode可以是很多；在MapReduce看来，节点又分为Jobtracker和Tasktracker，其中Jobtracker只有一个，Tasktracker可以是很多。我是将namenode和jobtracker部署在adoop1上，adoop2, hadoop3作为datanode和tasktracker。当然你也可以将namenode，datanode，jobtracker，tasktracker全部部署在一台机器上 目录结构 由于Hadoop要求所有机器上hadoop的部署目录结构要相同，并且都有一个相同的用户名的帐户。 三台机器上是这样的：都有一个的帐户，主目录是/home/[hadoop@ hadoop1:~]$tar -zxvf hadoop-0.21.0.tar.gz Hadoop部署目录结构如下：/home//hadoop0.21.0，所有的hadoop版本放在这个目录中。将hadoop0..0压缩包解压至hadoop0..0中，为了方便以后升级，建议建立一个链接指向要使用的hadoop版本，不妨设为hadoop[hadoop@ hadoop1:~]$ln -s hadoop-0.21.0 hadoop 这样一来，所有的配置文件都在/hadoop/conf/目录中，所有执行程序都在/hadoop/bin目录中。但是由于上述目录中hadoop的配置文件和hadoop的安装目录是放在一起的，这样一旦日后升级hadoop版本的时候所有的配置文件都会被覆盖，因此建议将配置文件与安装目录分离，一种比较好的方法就是建立一个存放配置文件的目录，hadoop-config，然后将/hadoop/conf/目录中的mastersslaves，hadoopenv.sh三个文件拷贝到hadoop-config目录中，并指定环境变量$HADOOP_CONF_DIR指向该目录。环境变量在/home//.bashrc和/etc/profile中设定。HADOOP_CONF_DIR=/home/hadoop/hadoop/hadoop-config export HADOOP_CONF_DIR 即： cd /home/hadoop/hadoop mkdir hadoop-config cp conf/masters hadoop-config/ cp conf/slaves hadoop-config/ cp conf/hadoop-env.sh hadoop-config/ sudo vi /etc/p