win下使用eclipse连接hadoop2.6.3讲解.docx

Win7下使用eclipse连接Hadoop2.6.3 环境所需要的软件和安装 1 安装jdk1.8 配置环境变量后测试  HYPERLINK /technetwork/java/javase/downloads/jdk8-downloads-2133151.html /technetwork/java/javase/downloads/jdk8-downloads-2133151.html 2 安装eclipse  HYPERLINK /eclipse/technology/epp/downloads/release/mars/1/eclipse-jee-mars-1-win32-x86_64.zip /eclipse/technology/epp/downloads/release/mars/1/eclipse-jee-mars-1-win32-x86_64.zip 3 安装ant1.9.6 配置环境变量后测试  HYPERLINK /apache//ant/binaries/apache-ant-1.9.6-bin.zip /apache//ant/binaries/apache-ant-1.9.6-bin.zip 4 下载插件源码  HYPERLINK /winghc/hadoop2x-eclipse-plugin/tree/v2.6.0 /winghc/hadoop2x-eclipse-plugin/tree/v2.6.0 5 下载并解压hadoop2.6.3  HYPERLINK /releases.html /releases.html 编译插件 1 修改hadoop2x-eclipse-plugin-2.6.0\ivy\perties 2 在win7的命令行模式(win+r中输入cmd)下编译插件 C:\jtools\hadoop2x-eclipse-plugin-2.6.0\src\contrib\eclipse-plugin在此目录下执行 ant jar -Dversion=2.6.3 -Declipse.home= C:\jtools\eclipse -Dhadoop.home= C:\jtools\hadoop-2.6.3命令 -Dversion=2.6.3 编译的版本号 -Declipse.home= C:\jtools\eclipse eclipse的安装目录 -Dhadoop.home= C:\jtools\hadoop-2.6.3 hadoop的安装目录 告诉你编译好的jar文件存放位置 将hadoop-eclipse-plugin-2.6.3文件复制到eclipse的plugins文件夹中 以上步骤做完就成功安装好插件了 配置Eclipse 1 打开eclipse修改hadoop的目录 显示hadoop的窗口 窗口显示后就可以新建hdfs的连接了 窗口内右键选择New Hadoop location… 根据hadoop的配置文件修改其内容 窗口里就会显示你配置好的连接 设置好后左侧能看到hdfs内的内容 测试创建文件夹 输入ddd后点OK 刷新后发现什么都没有 测试上传文件 提示报错 好像说我没有权限 通过网上和同学们沟通得到的处理方式 修hdfs-site.xml文件.在其中增加一个属性 property namedfs.permissions/name valuefalse/value /property 然后重启hdfs服务 在下载一个hadoop.dll 2.6.0的压缩文件  HYPERLINK /s/1Quj1c /s/1Quj1c 共享的百度盘地址 解压里面的文件到hadoop的bin目录下 将hadoop.dll文件拷贝一份到System32下 做完以上步骤之后进行测试 通过测试上传2010年的数据上去在刷新后就成功了 又出现了一个新问题 展开这个的时候报错 通过查询是hdfs里面没有输出和输入目录 bin/hdfs dfs -mkdir –p /user/grid/input bin/hdfs dfs -mkdir –p /user/grid/output 创建好默认名字的输入和输出文件就行了 运行程序 下载了2001年里最后一个154M的包 解压并输出成sample.txt文件,在上传至hadoop集群中 接下来就利用程序跑这个job了 结果运行又出错了 通过网上找到处理方式,是把源代码中的NativeIO这个java文件中修改成不检查 这下跑完后得出的最小 跑完得出的最大 运行Exercise_1.java程序 输出到outtest2