18_尚硅谷大数据之MapReduce_Hadoop数据压缩.pdf

四 Hadoop 数据压缩 4.1 概述 压缩技术能够有效减少底层存储系统（HDFS ）读写字节数。压缩提高了网络带宽和磁 盘空间的效率。在Hadoop 下，尤其是数据规模很大和工作负载密集的情况下，使用数据压 缩显得非常重要。在这种情况下，I/O 操作和网络数据传输要花大量的时间。还有，Shuffle 与Merge 过程同样也面临着巨大的I/O 压力。 鉴于磁盘I/O 和网络带宽是Hadoop 的宝贵资源，数据压缩对于节省资源、最小化磁盘 I/O 和网络传输非常有帮助。不过，尽管压缩与解压操作的CPU 开销不高，其性能的提升和 资源的节省并非没有代价。