实验7 hadop下eclipse工具使用.doc

实验报告封面 课程名称： Hadoop大数据处理JY1124 任课老师： 陈宁穗 实验指导老师: 陈宁穗 实验报告名称：实验7 hadoop下eclipse工具使用 学生姓名： 学号： 教学班： 递交日期： 签收人： 我申明，本报告内的实验已按要求完成，报告完全是由我个人完成，并没有抄袭行为。我已经保留了这份实验报告的副本。 申明人(签名): 实验报告评语与评分： 评阅老师签名： 一、 二、实验日期：2015年 月 日 三、实验目的： 熟悉hadoop下eclipse工具使用。 四、：硬件：PC电脑一台； 配置：内存，4G及以上 硬盘250G及以上 软件环境：操作系统 XP，vmware，ubuntu，jdk，hadoop 五、先启动Hadoop守护进程进入hadoop安装目录执行Ubuntu中下载安装Eclipse执行sudo apt-get install eclipse在Eclipse下安装hadoopclipse-plugin（插件jar包已提供）。复制jar包到 eclipse安装目录/plugins/ 下。可通过whereisclipse查看clipse安装目录 重启eclipse，配置hadoop installation directory。如果安装插件成功，打开Window--Preferences，你会发现Hadoop Map/Reduce选项，在这个选项里你需要配置Hadoop installation directory。配置完成后退出。?配置Map/Reduce Locations。?在Window--Show View中打开Map/Reduce Locations。? 在Map/Reduce Locations中新建一个Hadoop Location。在这个View中，右键--New Hadoop Location。在弹出的对话框中你需要配置Location name，如myubuntu，还有Map/Reduce Master和DFS Master。这里面的Host、Port分别为你在mapred-site.xml、core-site.xml中配置的地址及端口。如：??配置完后退出。点击DFS Locations--myubuntu如果能显示文件夹(2)说明配置正确，如果显示拒绝连接，请检查你的配置。??hdfs权限开放hdfs权限?hadoop fs –chmod 777 /user/新建项目。?File--New-- Project --Map/Reduce Project? 项目名可以随便取，如test。test项目下的srcexample.java。 7、上传模拟数据文件夹。为了运行程序，需要一个输入的文件夹，和输出的文件夹。输出文件夹，在程序运行完成后会自动生成。 将文件testnew上传到分布式文件系统中。? 8、运行项目。1）.在新建的项目test，点击.java，右键--Run As--Run Configurations?2）.在弹出的Run Configurations对话框中，点Java Application，右键--New，这时会新建一个application名为3）.配置运行参数，点Arguments，在Program arguments中输入“要传给程序的输入文件和要求程序将计算结果保存的文件夹”，如：? 4）.点击Run，运行程序。点击Run，运行程序，过段时间将运行完成，等运行结束后，可以在终端中用命令验证是否成功? 六、数据记录和计算：写语句及截图 七、实验结果或结论：即根据实验过程中所见到的现象和测得的数据，作出结论。 八、备注或说明：可写上实验成功或失败的原因，实验后的心得体会、建议等。