Hadoop压缩

Hadoop 作为一个较通用的海量数据处理平台，每次运算都会需要处理大量数据，我们会在 Hadoop 系统中对数据进行压缩处理来优化磁盘使用率，提高数据在磁盘和网络中的传输速度，从而提高系统处理数据的效率。在使用压缩方式方面，主要考虑压缩速度和压缩文件的可分割性。

综合所述，使用压缩的优点如下：

1. 节省数据占用的磁盘空间；
2. 加快数据在磁盘和网络中的传输速度，从而提高系统的处理速度。

1、压缩格式

Hadoop 对于压缩格式的是自动识别。如果我们压缩的文件有相应压缩格式的扩展名（比如 lzo，gz，bzip2 等）。Hadoop 会根据压缩格式的扩展名自动选择相对应的解码器来解压数据，此过程完全是 Hadoop 自动处理，我们只需要确保输入的压缩文件有扩展名。

Hadoop 对每个压缩格式的支持, 详细见下表：

压缩格式

2、性能对比

Hadoop 下各种压缩算法的压缩比，压缩时间，解压时间见下表:

压缩性能对比

因此我们可以得出：

1. Bzip2 压缩效果明显是最好的，但是 bzip2 压缩速度慢，可分割。
2. Gzip 压缩效果不如 Bzip2，但是压缩解压速度快，不支持分割。
3. LZO 压缩效果不如 Bzip2 和 Gzip，但是压缩解压速度最快！并且支持分割！

这里提一下，文件的可分割性在 Hadoop 中是很非常重要的，它会影响到在执行作业时 Map 启动的个数，从而会影响到作业的执行效率！

所有的压缩算法都显示出一种时间空间的权衡，更快的压缩和解压速度通常会耗费更多的空间。在选择使用哪种压缩格式时，我们应该根据自身的业务需求来选择。

3、压缩的使用

MapReduce 可以在三个阶段中使用压缩。

1、输入阶段
如果输入的文件是压缩过的，那么在被 MapReduce 读取时，它们会被自动解压。

2、map输出中间结果
(1) 在 core-site.xml 文件中配置，代码如下

<property>
     <name>mapred.compress.map.output</name>
    <value>true</value>
</property>

(2)使用Java代码指定

conf.setCompressMapOut(true);
conf.setMapOutputCompressorClass(GzipCode.class);

3、reduce输出最终结果
(1) 在 core-site.xml 文件中配置，代码如下

<property>
     <name>mapred.output.compress</name>
    <value>true</value>
</property>

(2)使用Java代码指定

conf.setBoolean(“mapred.output.compress”,true);
conf.setClass(“mapred.output.compression.codec”,GzipCode.class,CompressionCodec.class);