大数据课程设计mapreduce输入输出格式.pdfVIP

Hadoop提供了一系列InputFormat和OutputFormat方便开发

TextInputFormat

用于纯文本文件，文件被分为一系列以LF或者CR结束的行，key是每一行的位置

（偏移量,LongWritable类型），value是每一行的内容,Text类型。

KeyValueTextInputFormat

同样用于文件，如果行被分隔符（缺省是tab）分割为两部分，第一部分为key，剩下

的部分为value；如果没有分隔符，整行作为key，value为空

SequenceFileInputFormat

用于sequencefile。sequencefile是Hadoop用于数据自定义格式的binary文

件。它有两个子类：SequenceFileAsBinaryInputFormat，将key和value以

BytesWritable的类型读出；

SequenceFileAsTextInputFormat，将key和value以Text的类型读出

SequenceFileInputFilter

根据filter从sequence文件中取得部分满足条件的数据，通过setFilterClass指定Filter，

内置了三种Filter，RegexFilter取key值满足指定的正则表达式的记录；PercentFilter通

过指定参数f，取记录行数%f0的记录；MD5Filter通过指定参数f，取MD5(key)%f0

的记录。

NLineInputFormat

0.18.x新加入，可以将文件以行为单位进行split，比如文件的每一行对应一个map。得到

的key是每一行的位置（偏移量,LongWritable类型），value是每一行的内容,Text类型。

CompositeInputFormat，用于多个数据源的join。

输出格式：

OutputFormt接口决定了在哪里以及怎样持久化作业结果。Hadoop为不同类型的格式提

供了一系列的类和接口，实现自定义操作只要继承其中的某个类或接口即可。你可能已经

熟悉了默认的OutputFormat，也就是TextOutputFormat，它是一种以行分隔，包含制表

符界定的键值对的文本文件格式。尽管如此，对多数类型的数据而言，如再常见不过的数

字，文本序列化会浪费一些空间，由此带来的结果是运行时间更长且资源消耗。为了

避免文本文件的弊端，Hadoop提供了SequenceFileOutputformat，它将对象表示成二进

制形式而不再是文本文件，并将结果进行压缩。下面是Hadoop提供的类层次结构：

FileOutputFormat（实现OutputFormat接口）——所有OutputFormats的基类

MapFileOutputFormat——一种使用部分索引键的格式

SequenceFileOutputFormat——二进制键值数据的压缩格式

SequenceFileAsBinaryOutputFormat——原生二进制数据的压缩格式

TextOutputFormat——以行分隔、包含制表符定界的键值对的文本文件格式

MultipleOutputFormat——使用键值对参数写入文件的抽象类

MultipleTextOutputFormat——输出多个以标准行分割、制表符定界格式的文件

MultipleSequenceFileOutputFormat——输出多个压缩格式的文件

OutputFormat提供了对RecordWriter的实现，从而指定如何序列化数据。RecordWriter

类可以处理包含单个键值对的作业，并将结果写入到OutputFormat中准备好的位置。

RecordWriter的实现主要包括两个函数：“write”和“close”。“write”函数从