必威体育精装版国家开放大学电大《大数据技术导论》实验报告实验4 大数据去重.docx

必威体育精装版国家开放大学电大《大数据技术导论》实验报告 实验4 大数据去重 1.实验目的 通过Hadoop数据去重实验，学生可以掌握准备数据、伪分布式文件系统配置方法，以及 在集成开发环境Eclipse中实现Hadoop数据去重方法。 2.实验要求 了解基于Hadoop处理平台的大数据去重过程，理解其主要功能，并能够在Hadoop环境下 独立完成。 (1)制订实验计划。 (2)准备数据。 (3)伪分布式文件系统配置。 (4)在集成开发环境Eclipse中实现Hadoop数据去重。 3.实验内容 (1)制订实验计划。 (2)进入“/usr/local/hadoop”目录。 (3)准备数据。 (4)修改“/usr/local/hadoop/etc/hadoop/”目录下的Hadoop配置文件。 (5)NameNode 格式化。 (6)在集成开发环境Eclipse 中实现 Hadoop 数据去重。 4.实验总结 通过本实验，使学生了解Hadoop数据去重的特点和过程、理解MapReduce程序的执行过 程，掌握NameNode的格式化方法、Hadoop的配置文件的修改和Eclipse开发环境下实现Hadoop 数据去重的方法。 5.思考拓展 (1)为什么需要NameNode格式化?说明NameNode格式化方法。 (2)为什么需要数据去重?说明Hadoop数据去重的主要优势。 (3)结合MapReduce程序执行过程，说明Hadoop数据去重是离线处理还是在线处理。 (4)说明在集成开发环境Eclipse 中实现Hadoop 数据去重的主要过程。 答：数据去重方法如下 【Hadoop 学 习 项 目 】 - - - 数 据 去 重 0. 项 目 结 构 idea src main java Y D hadoop test Y D data duplicate demo 02 DupDrive DupMapper DupReducer resources core-site.xml hdfs-site.xml hive-site,xm tm perties CSDN @星 焱 。 数据处理过程图 1 [NULL, NULL, NULL, NULL,NULL] 192.168234.23 [NULU] 5 [NULL] 1 [NULL, NULL NULL, NULL] 192.168,234.26 [NULL] 7 [NULL,NULUI 9 [NULL] reduce 1:NULL 3:NULL 5:NULL reduce 1:NULL 6:NULL 7:NULL 9:NULL CSDN;@ 星 焱 map 1:NULL 3:NULL 1:NULL 1:NULL 1:NULL 5:NULL 1:NULL map 1:NULL 6 NULL 1 NULL 7 NULL 1 :NULL 7:NULL 1:NULL 9:NULL split 1 3 1 1 1 5 1 split 1 6 1 7 1 7 1 9 HDFS 1 3 1 1 1 5 1 1 6 1 7 1 7 1 9 1.DupDriver 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 package hadoop test.data duplicate demo 02; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.Nullwritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; public class DupDriver { * 处 理 数 据 ： 1 2