Hadoop实验--数据去重.doc

Hadoop实验报告 数据去重 问题背景： 随着存储数据信息量的飞速增长，去重无疑成为众多大数据面对的问题之一越来越多的人开始关注存储数据的缩减方法。数据压缩、单实例存储和重复数据删除等都是经常使用的存储数据缩减技术。 重复数据删除往往是指消除冗余子文件。不同于压缩，重复数据删除对于数据本身并没有改变，只是消除了相同的数据占用的存储容量。重复数据删除在减少存储、降低网络带宽方面有着显著的优势，并对扩展性有所帮助。 举个简单的例子：在专门为电信运营商定制的呼叫详单去重应用程序中，我们就可以看到删除重复数据的影子。同样的，对于包含相同数据包的通信网络，我们可以使用这种技术来进行优化。MapReduce程序读取文本文件， 实验名称：数据去重 实验目的： 1、基本了解一个Hadoop程序的结构、编译、封装、运行、查看结果等流程。 2、掌握并利用并行化编程思想对数据做有意义的筛选。 实验要求： 完成MapReduce程序，测试其对数据的筛选能力。 输入输出。input1: 2015-1-1 a 2015-1-2 b 2015-1-3 c 2015-1-4 d 2015-1-5 a 2015-1-6 b 2015-1-7 c 2015-1-8 c input2: 2015-1-1 b 2015-1-2 a 2015-1-3 b 2015-1-4 d 2015-1-5 a 2015-1-6 c 2015-1-7 d 2015-1-8 c 输出: 2015-1-1 a 2015-1-1 b 2015-1-2 a 2015-1-2 b 2015-1-3 b 2015-1-3 c 2015-1-4 d 2015-1-5 a 2015-1-6 b 2015-1-6 c 2015-1-7 c 2015-1-7 d 2015-1-8 c 设计思路： 数据去重的最终目标是让原始数据中出现次数超过一次的数据在输出文件中只出现一次。我们自然而然会想到将同一个数据的所有记录都交给一台reduce机器，无论这个数据出现多少次，只要在最终结果中输出一次就可以了。具体就是reduce的输入应该以数据作为key，而对value-list则没有要求。当reduce接收到一个key，value-list时就直接将key复制到输出的key中，并将value设置成空值。　　在MapReduce流程中，map的输出key，value经过shuffle过程聚集成key，value-list后会交给reduce。所以从设计好的reduce输入可以反推出map的输出key应为数据，value任意。继续反推，map输出数据的key为数据，而在这个实例中每个数据代表输入文件中的一行内容，所以map阶段要完成的任务就是在采用Hadoop默认的作业输入方式之后，将value设置为key，并直接输出（输出中的value任意）。map中的结果经过shuffle过程之后交给reduce。reduce阶段不会管每个key有多少个value，它直接将输入的key复制为输出的key，并输出就可以了（输出中的value被设置成空了）。 import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; import org.apache.hadoop.util.GenericOptionsParser; public class Dedup { //map将输入中的value复制到输出数据的key上，并直接输出