Map-Reduce入门过程解释(温度示例).docx

?/forfuture1978/article/details/6043926Hadoop学习总结之三：Map-Reduce入门2010-11-29 21:31?2632人阅读?/forfuture1978/article/details/6043926评论(0)?javascript:void(0);收藏?/forfuture1978/article/details/6043926举报/tag/hadoophadoop/tag/%e4%bb%bb%e5%8a%a1任务/tag/inputinput/tag/outputoutput/tag/interfaceinterface/tag/iteratoriterator目录/forfuture1978/article/details/6043926(?)/forfuture1978/article/details/6043926[+]1、Map-Reduce的逻辑过程假设我们需要处理一批有关天气的数据，其格式如下：按照ASCII码存储，每行一条记录每一行字符从0开始计数，第15个到第18个字符为年第25个到第29个字符为温度，其中第25位是符号+/-0067011990999991950051507+0000+0043011990999991950051512+0022+0043011990999991950051518-0011+0043012650999991949032412+0111+0043012650999991949032418+0078+0067011990999991937051507+0001+0043011990999991937051512-0002+0043011990999991945051518+0001+0043012650999991945032412+0002+0043012650999991945032418+0078+现在需要统计出每年的最高温度。Map-Reduce主要包括两个步骤：Map和Reduce每一步都有key-value对作为输入和输出：map阶段的key-value对的格式是由输入的格式所决定的，如果是默认的TextInputFormat，则每行作为一个记录进程处理，其中key为此行的开头相对于文件的起始位置，value就是此行的字符文本map阶段的输出的key-value对的格式必须同reduce阶段的输入key-value对的格式相对应对于上面的例子，在map过程，输入的key-value对如下：(0, 0067011990999991950051507+0000+)(33, 0043011990999991950051512+0022+)(66, 0043011990999991950051518-0011+)(99, 0043012650999991949032412+0111+)(132, 0043012650999991949032418+0078+)(165, 0067011990999991937051507+0001+)(198, 0043011990999991937051512-0002+)(231, 0043011990999991945051518+0001+)(264, 0043012650999991945032412+0002+)(297, 0043012650999991945032418+0078+)在map过程中，通过对每一行字符串的解析，得到年-温度的key-value对作为输出：(1950, 0)(1950, 22)(1950, -11)(1949, 111)(1949, 78)(1937, 1)(1937, -2)(1945, 1)(1945, 2)(1945, 78)在reduce过程，将map过程中的输出，按照相同的key将value放到同一个列表中作为reduce的输入(1950, [0, 22, –11])(1949, [111, 78])(1937, [1, -2])(1945, [1, 2, 78])在reduce过程中，在列表中选择出最大的温度，将年-最大温度的key-value作为输出：(1950, 22)(1949, 111)(1937, 1)(1945, 78)其逻辑过程可用如下图表示：2、编写Map-Reduce程序编写Map-Reduce程序，一般需要实现两个函数：mapper中的map函数和reducer中的reduce函数。一般遵循以下格式：map: (K1, V1)? - list(K2, V2)public interface Mapper?extends JobConfigurable, Closeable { void map(K1 key, V