hadoop单元测试方法--使用和增强MRUnit.docx

hadoop单元测试方法--使用和增强MRUnit无花1前言hadoop的mapreduce提交到集群环境中出问题的定位是比较麻烦的，有时需要一遍遍的修改代码和打出日志来排查一个很小的问题，如果数据量大的话调试起来相当耗时间。因此有必要使用良好的单元测试手段来尽早的消除明显的bug（当然仅有单元测试是不够的，毕竟跟集群的运行环境还是不一样的）。然而做mapreduce的单元测试会有一些障碍，比如Map和Reduce一些参数对象是在运行时由hadoop框架传入的，例如OutputCollector、Reporter、eclipse-javadoc:%E2%98%82=swift-mapreduce/F:%5C/m2%5C/repository%5C/org%5C/apache%5C/hadoop%5C/hadoop-core%5C/0.20.2%5C/hadoop-core-0.20.2.jar%3Corg.apache.hadoop.mapred(Reporter.class%E2%98%83Reporter~getInputSplit%E2%98%82InputSplitInputSplit等。这就需要有Mock手段。最初写mapreduce单元测试的时候自己写了几个简单的Mock也基本能满足需要，后来发现MRUnit比我写的要好用所以研究了一下就采用了。MRUnit是专门为hadoop mapreduce写的单元测试框架，API简洁明了，简单实用。但也有一些薄弱的地方，比如不支持MultipleOutputs（很多情况下我们会用MultipleOutputs作为多文件输出，后面将介绍如何增强MRUnit使之支持MultipleOutputs）。2 MRUnitMRUnit针对不同测试对象分别使用以下几种Driver：MapDriver，针对单独的Map测试。ReduceDriver，针对单独的Reduce测试。MapReduceDriver，将Map和Reduce连贯起来测试。PipelineMapReduceDriver，将多个Map-Reduce pair贯串测试。MapDriver单独测试Map的例子，假设我们要计算一个卖家的平均发货速度。Map将搜集每一次发货的时间间隔。针对Map的测试，//这是被测试的Map private Map mapper; private MapDriverLongWritable, Text, Text, TimeInfo mapDriver; @Before public void setUp() { mapper = new Map(); mapDriver = new MapDriverLongWritable, Text, Text, TimeInfo(); }@Test public void testMap_timeFormat2() { String sellerId = 444; //模拟输入一行（withInput），假设从这行数据中我们可以获得卖家(sellerId)//某一次时间间隔为10小时.//我们期望它输出sellerId为key，value为代表1次10小时的TimeInfo对象。//（withOutput）//如果输入数据经过Map计算后为期望的结果，那么测试通过。Text mapInputValue = new Text(……); mapDriver.withMapper(mapper).withInput(null, mapInputValue).withOutput(new Text(sellerId), new TimeInfo(1, 10)).runTest(); }ReduceDriver针对Reduce的单独测试，还是这个例子。Reduce为根据Map或Combiner输出的n次时间间隔的总和来计算平均时间。 private Reduce reducer;@Before public void setUp() { reducer = new Reduce(); reduceDriver = new ReduceDriverText, TimeInfo, Text, LongWritable(reducer); } @Test public void testReduce () { ListTimeInfo values = new ArrayListTimeInfo(); values.add(new TimeInfo(1, 3));//一次3小时 values.add(new TimeInfo(2, 5));//两次总共5小时 values.add(new TimeInfo(3, 7));//三次总共7小时//values作为444这个卖