Windows上Hadoop环境搭建简介.doc

Windows上Hadoop环境搭建简介 软件版本与系统环境 Windows XP Professional SP3 JDK 1.6.0_11 Cygwin 1.7.5-1 Hadoop 0.20.2（0.20.203以上版本有一个bug会导致安装在Windows环境下的Hadoop部件taskTracker无法正常启动，包括0.20.204版本、0.20.205版本、1.0.0版本都有这种情况。详细情况参阅“参阅资料④”） 参阅资料 ①在Windows上安装Hadoop教程.pdf ②/blog/573498 ③/shirdrn/blog/item/33c762fecf9811375c600892.html ④/jira/browse/HADOOP-7682 ⑤/viewthread.php?tid=1978 ⑥《hadoop权威指南(第2版)》清华大学出版社 环境搭建步骤 注意：建议所有的安装路径不要有空格，带空格的名称不是Unix环境下的标准命名方式。 JDK的安装 （略） 我的安装位置：D:\JavaApp\Java\ JDK需要1.5以上版本。 Cygwin的安装、配置 Cygwin的知识参阅本文4.1部分。 Cygwin的安装、配置参阅《在Windows上安装Hadoop教程.pdf》以下部分： 2. 安装 Cygwin 3. 配置环境变量 4. 安装 sshd 服务 5. 启动 sshd 服务 6. 配置 ssh 登录 Hadoop的安装、配置 下载的安装包是“hadoop-0.20.2.tar.gz”，可以使用WinRAR直接解压缩，放置到以下位置：C:\cygwin\usr\hadoop-0.20.2\ 也可以使用命令：tar zxf hadoop-0.20.2.tar.gz Hadoop需要修改的配置文件一共4个，都位于目录“/usr/hadoop-0.20.2/conf/”中（大家要习惯这种Unix的写法，usr之前的“/”代表根目录，conf后面的“/”表示conf是一个目录，否则conf可能是一个文件），分别是： hadoop-env.sh core-site.xml hdfs-site.xml mapred-site.xml 关于配置文件，请参阅本文4.3部分。 hadoop-env.sh，如果JDK安装的目录有空格，则整个路径需要加双引号。 export JAVA_HOME=D:/JavaApp/Java/jdk1.6.0_11 core-site.xml property name/name valuehdfs://localhost//value /property hdfs-site.xml，复制因子设置为1，只启动一个DataNode；并定义NameNode数据目录和DataNode数据目录，如不设置，会默认放在“C:/filesystem/”目录中。 property namedfs.replication/name value1/value /property property name.dir/name valueC:/cygwin/usr/hadoop-0.20.2/filesystem/name//value /property property namedfs.data.dir/name valueC:/cygwin/usr/hadoop-0.20.2/filesystem/data//value /property mapred-site.xml，“mapred.child.tmp”属性设置的原因请参阅“参阅资料⑤”。 property namemapred.job.tracker/name valuelocalhost:8021/value /property property namemapred.child.tmp/name valueC:/cygwin/usr/hadoop-0.20.2/temp//value /property Cygwin需要修改配置文件：/etc/profile（相当于Linux环境的一个配置文件，它使得Hadoop的命令可以在任意目录执行） export HADOOP_HOME=/usr/hadoop-0.20.2 export PATH=$PATH:$HADOOP_HOME/bin 测试Hadoop 进入Cygwin环境，进入Hadoop的bin目录（如果profile文件设置正确，也可以不进入bin目录） cd /usr/hadoop-0.20.2/bin/ 格式化NameNode hadoop namenode –format