Hadoop HDFS安装和管理.doc

Hadoop HDFS安装和管理 HDFS安装 环境准备 由于相对hdfs的客户端存在相对路径问题，参见《Hadoop HDFS开发参考》，我们修改了hadoop-0.18.1的源码并进行了重新编译，代码为forlink-hadoop.tar.gz。 HDFS中，节点分为Namenode 和Datanode，其中Namenode只有一个（可以通过《Hadoop HDFS系统双机热备方案/etc/sysconfig/network NETWORKING=yes HOSTNAME=ost2 在203上为 HOSTNAME=ost3 在204上为 HOSTNAME=ost4 2、创建hdfs用户 Hadoop要求所有机器上hadoop的部署目录结构要相同，并且都有一个相同的用户名的帐户。在所有节点上创建hdfs用户： 用户名 hdfs，口令hdfs，主目录是/home/hdfs。 3、添加节点到/etc/hosts（在所有节点上执行此操作，其中01是虚拟IP） localhost.localdomain localhost 01 ostvip 03 ost3 02 ost2 04 ost4 02 ost2 03 ost3 可以在ost2修改，然后拷贝到其他节点（需root权限） scp /etc/hosts ost3:/etc/hosts scp /etc/hosts ost4:/etc/hosts HDFS部署（ost2上） 1、以hdfs用户登录，在主目录下创建子目录hdfsinstall 2、在hdfsinstall目录下解压缩文件，将解压到hadoop-0.18.1目录 tar xvzf forlink-hadoop.tar.gz 3、创建链接 ln -s hadoop-0.18.1 hadoop 4、创建配置目录 mkdir /home/hdfs/hdfsinstall/hadoop-config 5、将 /home/hdfs/hdfsinstall/hadoop/conf/目录中的文件拷贝到hadoop-config目录中 6、指定环境变量$HADOOP_CONF_DIR 在/home/hdfs/.bash_profile中添加 HADOOP_CONF_DIR=/home/hdfs/hdfsinstall/hadoop-config/ export HADOOP_CONF_DIR 7、下载jdk-1_5_x-rc-linux-i586.bin。 8、运行 ./ jdk-1_5_x-rc-linux-i586.bin 安装完毕,JDK安装在/home/hdfs/hdfsinstall/jdk1.5.0_16目录下 9、创建链接：ln –s jdk1.5.0_16 jdk 10、设置环境变量(写入hdfs用户的.bash_profile中) JAVA_HOME=/home/hdfs/hdfsinstall/jdk export JAVA_HOME PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH export PATH CLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/jre/lib export CLASSPATH 11、创建子目录filesystem cd /home/hdfs/hdfsinstall mkdir filesystem Hadoop配置 cd $HADOOP_CONF_DIR，进入/home/hdfs/hdfsinstall/hadoop-config目录 1、masters文件（这里指定虚拟ip作为名字节点，指定Secondary Namenode） 01 2、slaves文件（指定数据节点） 04 3、修改hadoop-env.sh export JAVA_HOME=/home/hdfs/hdfsinstall/jdk 4、hadoop-site.xml 在hadoop-site.xml里面定义我们需要的项，其值会覆盖hadoop-default.xml中的默认值： ?xml version=1.0? ?xml-stylesheet type=text/xsl href=configuration.xsl? !-- Put site-specific property overrides in this file. -- configuration property name/name value hdfs://01:9000 /value description namenode的配置，机