hadoop平台搭建流程.docx

搭建环境：ubuntu11.04，hadoop-，jdk1.6.0_25注意：namenode和datanode 要创建相同的用户名，用户的密码也要相同。一、安装jdk，hadoop：无论在单机模式还是在集群模式下，建议将hadoop，jdk等其他软件装在固定目录下。如果是集群模式，在各个机器上一定要选择同一个目录，建议选择文件系统的 /opt/ 目录。可能由于权限问题无法更改 /opt/ 目录，可使用命令 $ sudo chmod 777 -R /opt 更改权限.将下载好的jdk，hadoop放在 /opt 目录下，直接右键解压到此处解压hadoop，打开终端，转到 /opt 目录下，执行$ sudo ./jdk-6u25-linux-i586.bin就可以解压。如果提示该操作权限不够，先执行$ sudo chmod 777 jdk-6u25-linux-i586.bin后再做该操作。二、环境变量配置及host更改：修改 profile，打开终端$ sudo gedit /etc/profile配置如下：# /etc/profile: system-wide .profile file for the Bourne shell (sh(1))# and Bourne compatible shells (bash(1), ksh(1), ash(1), ...).if [ -d /etc/profile.d ]; then for i in /etc/profile.d/*.sh; do if [ -r $i ]; then . $i fi done unset ifiif [ $PS1 ]; then if [ $BASH ]; then PS1=\u@\h:\w\$ if [ -f /etc/bash.bashrc ]; then. /etc/bash.bashrc fi else if [ `id -u` -eq 0 ]; then PS1=# else PS1=$ fi fifiumask 022export JAVA_HOME=/opt/jdk1.6.0_25export JRE_HOME=/opt/jdk1.6.0_25/jreexport CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATHexport PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH:/opt/android-sdk-linux_x86/platform-toolsexport HADOOP_HOME=/opt/hadoop-export PATH=$HADOOP_HOME/bin:$PATH我是使用三台机器来做，ip分配如下：机器名IP 作用zhoudl03NameNode、master、jobTrackerlmq01DataNode、slave、taskTrackeryoung04 DataNode、slave、taskTracker注意：机器名不是用户名，打开终端，如我的显示hadoop@zhoudl:~$ 机器名是指@后面的的名字。有的人的机器名可能太长，输入不方便，可通过命令$ sudo gedit /etc/hostname要重启后才能更改。修改host$ sudo gedit /etc/hosts配置如下 localhost01 lmq03zhoudl04 young三、ssh无密码登录安装openssh-server$ sudo apt-get install openssh-server注意:自动安装 openssh-server 时,先要进行 sudo apt-get update 操作。(1)在 NameNode 上实现无密码登录本机:$ ssh-keygen -t dsa -P -f ~/.ssh/id_dsa 直接回车,完成后会在~/.ssh/生成两个文件:id_dsa 和 id_dsa.pub。这两个是成对出现,类似钥匙和锁。再把 id_dsa.pub 追加到授权 key 里面(当前并没authorized_keys文件):$ cat ~/.ssh/id_dsa.pub ~/.ssh/authorized_keys完成后可以实现无密码登录本机:$ ssh localhost。(2)实现 NameNode 无密码登录其他 DataNode:把 NameNode 上的 id_dsa.pub 文件追加到 dataNode 的 authorized_keys 内 ( 以01 节点为例):a. 拷贝 NameNode 的 id_d