Hadoop开发环境搭建[Win8EclipseLinux].docxVIP

Hadoop开发环境搭建（Win8+Linux）常见的Hadoop开发环境架构有以下三种：Eclipse与Hadoop集群在同一台Windows机器上。Eclipse与Hadoop集群在同一台Linux机器上。Eclipse在Windows上，Hadoop集群在远程Linux机器上。点评：第一种架构：必须安装cygwin，Hadoop对Windows的支持有限，在Windows上部署hadoop会出现相当多诡异的问题。第二种架构：Hadoop机器运行在Linux上完全没有问题，但是有大部分的开发者不习惯在Linux上做开发。这种架构适合习惯使用Linux的开发者。第三种架构：Hadoop集群部署在Linux上，保证了稳定性，Eclipse在Windows上，符合大部分开发者的习惯。本文主要介绍第三种Hadoop开发环境架构的搭建方法。Hadoop开发环境的搭建分为两大块：Hadoop集群搭建、Eclipse环境搭建。其中Hadoop集群搭建可参考官方文档，本文主要讲解Eclipse环境搭建（如何在Eclipse中查看和操作HDFS、如何在Eclipse中执行MapReduce作业）。搭建步骤：搭建Hadoop集群（Linux、JDK6、Hadoop-1.1.2）在Windows上安装JDK6+在Windows上安装Eclipse3.3+在Eclipse上安装hadoop-eclipse-plugin-1.1.2.jar插件（如果没有，则需自行编译源码）在Eclipse上配置Map/Reduce Location搭建Hadoop集群此步骤可参考Hadoop官方文档在Windows上安装JDK此步骤可参考官方文档在Window上安装Eclipse此步骤可参考官方文档在Eclipse上安装hadoop-eclipse-plugin-1.1.2.jar插件Hadoop-1.1.2的发布包里面没有hadoop-eclipse-plugin-1.1.2.jar，开发者必须根据所在的环境自行编译hadoop-eclipse-plugin-1.1.2.jar插件。以下为自行编译hadoop-eclipse-plugin-1.1.2.jar的步骤：安装Ant（参考官方文档）修改${HADOOP_HOME}/src/contrib/eclipse-plugin/build.xml文件以下是笔者机器上的build.xml文件，可以以此作为模版，修改相应的节点即可（其中红色部分为需要修改的节点）。?xml version=1.0 encoding=UTF-8 standalone=no? project default=jar name=eclipse-plugin property name=name value=${}/ property name=root value=${basedir}/ property name=hadoop.root location=D:\cygwin64\home\lenovo\hadoop-1.1.2/ property name=version value=1.1.2/ property name=eclipse.home location=E:\eclipse4.1\eclipse/ property name=build.dir location=${hadoop.root}/build/contrib/${name}/ property name=build.classes location=${build.dir}/classes/ property name=src.dir location=${root}/src/java/ path id=eclipse-sdk-jars fileset dir=${eclipse.home}/plugins/ include name=org.eclipse.ui*.jar/ include name=org.eclipse.jdt*.jar/ include name=org.eclipse.core*.jar/ include name=org.eclipse.equinox*.jar/ include name=org.eclipse.debug*.jar/ include name=org.eclipse.osgi*.jar/ include name=org.eclipse.swt*.jar/ include name=org.eclipse.jface*.jar/ include name=org.eclipse.team.cvs.ssh2*.jar/ include name=com.jcraft.jsc