hadoop部署总结.doc

采用双namenode节点，多datanode节点配置。 在新版本HDFS的配置中，所有节点的配置文件都是统一的（除ssh部分），不用单独配置NameNode和DataNode。 假设我们有三台服务器，主机名分别为fenbu01、fenbu02、fenbu03 fenbu01为namenode节点，fenbu02为datanode节点，fenbu03待用 ? 1、更改各节点hosts文件 vi /etc/hosts???????? localhost???? localhost172.xx.xx.10????? fenbu01?????? fenbu01172.xx.xx.11????? fenbu02?????? fenbu02172.xx.xx.12????? fenbu03?????? fenbu03 ? 2、创建dbrg用户useradd -u 500 -g 500 -p 123456 -d /home/dbrg dbrg 在/home/dbrg/下创建hadoopinstall目录 mkdir /home/dbrg/hadoopinstall ? 3、解压hadoop包 下载地址 /dyn/closer.cgi/hadoop/common/ ftp hadoop到/home/dbrg/hadoopinstall gzip -d? hadoop-0.23.1.tar.gztar -xvf hadoop-0.23.1.tar ln -s hadoop-0.23.1 hadoop mkdir /home/dbrg/hadoopinstall/hadoop-config ? 4、SSH配置 在namenode节点上对dbrg用户创建公钥（datanode节点无需操作此步骤） su dbrg $ssh-keygen -t rsa 这个命令将为fenbu01上的用户dbrg生成其密钥对，询问其保存路径时直接回车采用默认路径，当提示要为生成的密钥输入passphrase的时候，直接回车，也就是将其设定为空密码。 $cp id_rsa.pub authorized_keys$chmod 644 authorized_keys$scp authorized_keys fenbu02:/home/dbrg/.ssh/ 目录结构应该是这样的 [dbrg@fenbu01 .ssh]$ ls -ladrwx------ 2 dbrg dbrg 4096 04-01 15:30 .drwx------ 5 dbrg dbrg 4096 04-01 15:37 ..-rw-r--r-- 1 dbrg dbrg? 394 04-01 15:32 authorized_keys-rw------- 1 dbrg dbrg 1675 04-01 15:24 id_rsa-rw-r--r-- 1 dbrg dbrg? 394 04-01 15:24 id_rsa.pub-rw-r--r-- 1 dbrg dbrg 1192 04-01 15:34 known_hosts ? root权限下修改文件/etc/ssh/sshd_config#去除密码认证PubkeyAuthentication yesPasswordAuthentication? noAuthorizedKeyFile?? .ssh/authorized_keys service sshd restart 这时候namenode ssh无法直接登陆了，换用xmanager ? 然后到datanode节点操作 scp到datanode节点的文件记得赋予权限 保证authorized_keys只对其所有者有读写权限，其他人不允许有写的权限，否则SSH是不会工作的。$chmod 644 authorized_keys ? 5、配置集群环境 在vi /home/dbrg/.bashrc文件内添加#hadoop 0.23 required settingsexport HADOOP_DEV_HOME=/home/dbrg/hadoopinstall/hadoop #设置你hadoop的路径，需要修改一下export HADOOP_MAPRED_HOME=${HADOOP_DEV_HOME}export HADOOP_COMMON_HOME=${HADOOP_DEV_HOME}export HADOOP_HDFS_HOME=${HADOOP_DEV_HOME}export YARN_HOME=${HADOOP_DEV_HOME}export HADOOP_CONF_DIR=/opt/dbrg/hdfs/conf #conf目录也可以按照Hadoop-