java压缩和解压缩ZipJar、Gzip文件.doc

对于那些大型的、没有边界的文件，如日志文件，有以下选项。 　　存储未压缩的文件。 　　使用支持分割机制的压缩格式，如bzip2。 　　在应用中将文件分割成几个大的数据块，然后使用任何一种支持的压缩格式单独压缩每个数据块(可不用考虑压缩格式是否支持分割)。在这里，需要选择数据块的大小使压缩后的数据块在大小上相当于HDFS的块。 　　使用支持压缩和分割的Sequence File(序列文件)。 　　对于大型文件，不要对整个文件使用不支持分割的压缩格式，因为这样会损失本地性优势，从而使降低MapReduce应用的性能。 有些压缩格式不能被分块，并行的处理，比如gzip 第二，另外的一些压缩格式虽然支持分块处理，但是解压的过程非常的缓慢，使job的瓶颈转移到了cpu上，例如bzip2。 　　如果能够拥有一种压缩算法，即能够被分块，并行的处理，速度也非常的快，那就非常的理想。这种方式就是lzo。 hadoop使用LZO压缩 博客分类：? hadoop HadoopJavaApacheOpenSourceXML 1。安装LZO?sudo apt-get install liblzo2-dev?或者下载lzo2?/opensource/lzo/download/.?./configure --enable-shared?make?make install?确认安装成功? Java代码?? %?ls?-l?/usr/lib*/liblzo2*?? -rw-r--r--??1?root?root?171056?Mar?20??2006?/usr/lib/liblzo2.a?? lrwxrwxrwx??1?root?root?????16?Feb?17??2007?/usr/lib/liblzo2.so?-?liblzo2.so.2.0.0*?? lrwxrwxrwx??1?root?root?????16?Feb?17??2007?/usr/lib/liblzo2.so.2?-?liblzo2.so.2.0.0*?? -rwxr-xr-x??1?root?root?129067?Mar?20??2006?/usr/lib/liblzo2.so.2.0.0*?? -rw-r--r--??1?root?root?208494?Mar?20??2006?/usr/lib64/liblzo2.a?? lrwxrwxrwx??1?root?root?????16?Feb?17??2007?/usr/lib64/liblzo2.so?-?liblzo2.so.2.0.0*?? lrwxrwxrwx??1?root?root?????16?Feb?17??2007?/usr/lib64/liblzo2.so.2?-?liblzo2.so.2.0.0*?? -rwxr-xr-x??1?root?root?126572?Mar?20??2006?/usr/lib64/liblzo2.so.2.0.0*?? 2。下载hadoop-gpl-compression源码? Java代码?? /a//p/hadoop-gpl-compression/downloads/list?? 3.编译? Java代码?? export?JAVA_HOME=/path/to/64bit/jdk?? export?CFLAGS=-m64?? export?CXXFLAGS=-m64?? ant?compile-native?tar?? 4.拷贝生成的jar到指定目录? Java代码?? cp?build/hadoop-gpl-compression-0.1.0-dev/hadoop-gpl-compression-0.1.0-dev.jar?/path/to/hadoop/dist/lib?? 5.拷贝native library? Java代码?? tar?-cBf?-?-C?build/hadoop-gpl-compression-0.1.0-dev/lib/native?.?|?tar?-xBvf?-?-C?/path/to/hadoop/dist/lib/native?? 6.修改hadoop配置文件core-site.xml? Xml代码?? property?? ????namepression.codecs/name?? ????valuepress.GzipCodec,press.DefaultCodec,pression.lzo.LzoCodec,press.BZip2Codec/value?? ??/property?? ??property?? ????namepression.codec.lzo.class/name??