四种常见的MapReduce设计模式.PDF

四种常见的MapReduce设计模式 Spark大数据博客 - 四种常见的MapReduce设计模式 使用MapReduce解决任何问题之前，我们需要考虑如何设计。并不是任何时候都需要map和 reduce job。 MapReduce设计模式(MapReduce Design Pattern) 整个MapReduce作业的阶段主要可以分为以下四种： 1、Input-Map-Reduce-Output 2、Input-Map-Output 3、Input-Multiple Maps-Reduce-Output 4、Input-Map-Combiner-Reduce-Output 下面我将一一介绍哪种场景使用哪种设计模式。 Input-Map-Reduce-Output Input➜Map➜Reduce➜Output 如果我们需要做一些聚合操作(aggregation)，我们就需要使用这种模式。 场景 计算各性别员工薪水平均值 Map(Key, Value) Key: Gender Value: Their Salary Reduce 对Gender进行Group by，并计算每种性别的总薪水 Input-Map-Output Input➜Map➜Output 如果我们仅仅想改变输入数据的格式，这时候我们可以使用这种模式。 场景 对性别进行处理 Map(Key, Value) Key : Employee Id 1 / 4 四种常见的MapReduce设计模式 Spark大数据博客 - Value : Gender - if Gender is Female/ F/ f/ 0 then converted to F else if Gender is Male/M/m/1 then convert to M Input-Multiple Maps-Reduce-Output Input1➜Map1➘ Reduce➜Output Input2➜Map2➚ 在这种设计模式中，我们有两个输入文件，其文件的格式都不一样， 文件一的格式是性别作为名字的前缀，比如：Ms. Shital Katkar或Mr. Krishna Katkar 文件二的格式是性别的格式是固定的，但是其位置不固定，比如 Female/Male, 0/1, F/M 场景 对性别进行处理 Map(Key, Value) Map 1 (For input 1) ：我们需要将性别从名字中分割出来，然后根据 前缀来确定性别，然后得到 (Gender,Salary)键值对； Map 2 (For