Hadoop分布式环境搭建详细步骤.docx

Hadoop环境搭建设置DNS，这里是一主两从Master的hosts文件修改，需要添加所有节点的ip及域名，包括master和所有的slaveSudo vi /etc/hosts 添加以下内容： localhost00 namenode-master01 datanode-slave103 datanode-slave2Slave的hosts文件修改，仅需要添加master和本机的ip和域名Sudo vi /etc/hosts 添加以下内容： localhost00 namenode-master01 datanode-slave1或03 datanode-slave2修改hostnamevi /etc/hostname分别把各个机器的hostname设置为hosts文件中设置的dnsnamenode-masterdatanode-slave1datanode-slave2所有机器添加grid用户,并设置sudo权限useradd -m grid #添加用户passwd grid #为gird用户设置密码，这里设置为gridroot权限下，vi /etc/sudoers，添加以下内容：grid ALL=(ALL) NOPASSWD:ALL 安装SSHHadoop运行过程中需要管理远端的Hadoop守护进程，所有的机器都安装sshSudo apt-get install ssh所有机器都在grid的家目录下创建.ssh文件夹mkdir ~/.ssh 或者 mkdir /home/grid/.sshSSH配置在master的家目录下运行，ssh-keygen -t rsa，一直按回车键，将会按照默认的选项生成秘钥对，保存在.ssh/id_rsa文件中接着执行以下命令：cp id_rsa.pub authorized_keysscp authorized_keys datanode-slave1:/home/grid/.sshscp authorized_keys datanode-slave2:/home/grid/.ssh然后设置所有节点authorized_keys文件的权限为644Sudo chmod 644 authorized_keys安装JDK在master上操作，把SDK安装包分别远程拷贝到所有从节点中scp jdk-7u25-linux-x64.tar.gz datanode-slave1:/home/grid/下载/jdk-7u25-linux-x64.tar.gzscp jdk-7u25-linux-x64.tar.gz datanode-slave2:/home/grid/下载/jdk-7u25-linux-x64.tar.gz将jdk-7u25-linux-x64.tar.gz解压到/usr/local/java/中tar -zxvf jdk-7u25-linux-x64.tar.gz sudo mv ./jdk1.7.0_25 /usr/local/java/jdk1.7.0_25配置jdk环境变量(所有节点都需要配置) 编辑/etc/profilevi /etc/profile最后面加上 export JAVA_HOME=/usr/local/java/jdk1.7.0_25 #jdk的解压目录export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexport PATH=$PATH:$JAVA_HOME/binexport JAVA_HOME CLASSPATH PATH重启配置文件 source /etc/profile安装配置hadoop（所有节点都需配置）解压tar -zxvf hadoop-2.6.0.tar.gz剪切到/usr/local/下配置环境变量 vi /etc/profile添加export HADOOP_HOME=/usr/local/hadoop-2.6.0重启配置文件生效 source /etc/profile配置hadoop(所有节点都配置)创建以下目录：sudo mkdir /usr/local/hadoopdatasudo mkdir -p /usr/local/hadoopdata/dfs/namesudo mkdir -p /usr/local/hadoopdata/dfs/data改变这三个文件夹的ownersudo chown –R grid:grid /usr/local/hadoopdata配置hadoop-env.sh hadoop-2.6.0/etc/hadoop目录下vi hadoop-env.sh修改jdk地址export JAVA_HOME=