Hadoop集群安装与配置及其示例程序运行说明文件.docx

Hadoop集群安装与配置及其示例程序的运行（虚拟机下实现）系统：Ubuntu 12.04 虚拟机软件：VMware WorkstationHadoop2.6.0【特别声明：安装的Ubuntu虚拟机操作系统的位数一定要和Hadoop的位数一致！！建议都装64位的。】单机情况下安装：安装jdk 【我下载的jdk版本是：jdk-7u51-linux-i586.tar.gz。安装后的版本号是：jdk1.7.0_75】去下载jdk-***.tar.gz文件，下载完得到压缩包，解压到要安装的目录下。（例如解压到/etc下）命令：tar -zxvf jdk-***.tar.gz -C ~/etc 【将jdk压缩包解压到/etc目录下】设置坏境变量：修改用户目录下的.bashrc文件【命令是$ gedit ~/.bashrc】，在文件末尾加入：set JAVA_HOME=/home/becy/etc/jdk1.7.0_75 export JAVA_HOMEset JRE_HOME=/home/becy/etc/jdk1.7.0_75/jreExport JRE_HOMEset PATH=$JAVA_HOME/bin:$PATHexport PATHset CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexport CLASSPATH保存文件后退出。然后再命令行输入$ source ~/.bashrc使刚才设置的环境变量生效。接着输入命令$ java -version会弹出以下窗口：然后按照提示，在命令行输入$ sudo apt-get install openjdk-7-jre-headless完成jdk的安装工作【安装过程约20分钟】。接着测试是否安装成功 输入命令：$ java –version以上显示则安装成功。添加专用的Hadoop系统用户我们将利用专用用户来运行Hadoop，这不是必须的，但是建议这么做，主要考虑安全，权限等问题。命令：sudo addgroup hadoopsudo adduser --ingroup hadoop hduser设定自己的密码之后，按Enter即可。随后弹出的框可以直接按Enter使用默认值：这样可以添加用户hduser 和用户组hadoop到机器上。配置无密码登录SSHHadoop需要SSH无密码登录以管理其余Nodes。首先需要为hduser用户生成密钥。su - hduserssh-keygen -t rsa -P 按下Enter之后会出现以下界面：中途遇到需要输入的都直接Enter然后将密钥加入认证cat $HOME/.ssh/id_rsa.pub $HOME/.ssh/authorized_keys完成之后测试是否成功ssh localhost 如果报错如下：【hduser?is?not?in?the?sudoers?file.??This?incident?will?be?reported.】，则需要安装ssh，首先修改权限：然后执行：sudo apt-get install openssh-server安装完成后：再次键入ssh localhost,便会有如下信息：说明ssh安装成功！安装配置Hadoop从Apache官网上下载Hadoop，解压到一个目录下。注意确保所有文件属于Hduser和hadoop组。命令如下：（假设解压到/usr/local）sudo tar -zxvf hadoop-1.0.3.tar.gz –C /usr/localcd /usr/localsudo mv hadoop-1.0.3 hadoopsudo chown -R hduser:hadoop hadoop完成之后，同样对hduser用户下的.bashc文件修改【命令是$ vim ~/.bashrc】，设置Hadoop坏境变量。在文件中加入：# set hadoop-related environment variablesexport HADOOP_HOME=/usr/local/hadoop/etc/hadoop# add hadoop bin/ directory to PATHexport PATH=$PATH:$HADOOP_HOME/binexport HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeexport HADOOP_OPTS=-Djava.library.path=$HADOOP_HOME/lib多机器HDFS集群配置在每台机器上都完成以上的单机配置之后（如果是虚拟机可以直接克隆系统），我们将进行以下多机器的集群