Hadoop伪分布式安装流程_补充.doc

Hadoop伪分布式安装流程 说明 Hadoop的运行模式有三种： 第一种是单机模式(local mode) 此模式不需要运行任何守护进程(daemon)，所有的程序都运行在一个JVM上。在这种模 式下调试和测试较方便，所以通常情况下在这种模式下进行开发测试，是应用开发阶段采 用的模式。 第二种是伪分布模式(pseudo-distributed mode) 模拟分布式，单机上运行Hadoop守护进程。开发测试阶段采用的模式。 第三种是完全分布式(fully-distributed mode) Hadoop守护进程运行在一个分布的集群上。这种模式需要关注的是各组件属性的正确配 置和完整的启动Hadoop守护进程。 GNU/Linux是Hadoop产品开发和运行的平台。 Hadoop已在有四千个节点的GNU/Linux 主机组成的集群系统上得到验证。Windows平台是作为开发平台支持的。由于分布式操 作尚未在Windows平台上充分测试，所以还不作为一个生产平台被支持。 所需软件包括： JDK1.6及以上版本，必须安装，建议选择Sun公司发行的Java版本。 SSH 必须安装并且保证 sshd服务一直运行，以便用Hadoop 脚本管理远端Hadoop守护进程。 安装Hadoop集群通常要将安装软件解压到集群内的所有机器上。 以Hadoop2.0为例。集群里的一台机器被指定为 NameNode，另一台不同的机器被指定为ResourceManager。这些机器是Master。余下的机器即作为DataNode也作为NodeManager。这些机器是Slaves。 通常使用HADOOP_HOME指定Hadoop的安装的根路径。要求集群里的所有机器的HADOOP_HOME路径相同。就是把Hadoop安装在相同的路径下。 伪分布式模拟了分布式Hadoop集群的一些功能。通常运用在测试环境，并且不是并行的。但是，小规模的Hadoop安装提供了学习Hadoop基础的简单方法。 Hadoop需要运行在Linux系统上，Linux是Hadoop唯一支持的生产平台，通常是在Windows系统开发，而运行则在Linux系统上的Hadoop环境下运行。 对硬件的要求是双核、2G内存和尽可能大的硬盘空间。Linux环境，Java环境等。下面分步说明安装步骤。 Hadoop伪分布式安装流程 安装Apache Hadoop 从Hadoop的网站(/)上下载必威体育精装版的发布版本(通常是一个打包好的gzipped tar文件)，如：hadoop-*.*.*.tar.gz。 通常把Hadoop安装包解压到/usr/local目录下，当然也可以解压到/opt目录下。 cd /usr/local tar -xzvf hadoop-2.7.0.tar.gz mv hadoop-2.7.0 hadoop vi /etc/profile 要为Hadoop配置环境变量，便于在任何目录执行Hadoop命令。以root用户登录系统，在/etc目录下的profile中添加以下内容。HADOOP_HOME是Hadoop的安装目录，设置PATH是为了系统可以找到Hadoop所有的命令，并且可以在任何目录执行Hadoop命令，而不用先进入到Hadoop的bin或sbin目录下再执行命令。CLASS_PATH是告知Java虚拟机Hadoop的jar包在什么位置。 用户root有修改系统文件的权限，用文本编辑器打开/etc/profile文件 vi /etc/profile 在profile文件后面添加以下内容保存退出 export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin export CLASS_PATH=$CLASS_PATH:$HADOOP_HOME/lib 安装JDK Hadoop是用Java语言编写的，因此需要在Java环境下工作。尽管其他的JDK安装包也支持Hadoop，但使用最广的任然是Sun提供的JDK。 Hadoop2.0版本以上要求JDK版本在1.6及以上。从官网下载发布的必威体育精装版JDK安装包(Linux系统)。我们以CentOS6.4的Linux系统为例，系统已经预安装了开源的JDK版本，通过命令java -version进行查看。 通过命令删除预安装的JDK版本 rpm -qa | grep java rpm -e --nodeps 文件名 用命令java -version检查是否已