面试宝典之mapreduce优化篇.pdfVIP

利用Combiner

Combiner在Map端提前进行了一次Reduce处理。

可减少MapTask中间输出的结果，从而减少各个ReduceTask的

拷贝数据量，最终表现为MapTask和ReduceTask执行时间缩短。

选择合理的Writable类型

为应用程序处理的数据选择合适的Writable类型可大大提升性能。

比如处理整数类型数据时，直接采用IntWritable比先以Text类型读

入在转换为整数类型要高效。

如果输出整数的大部分可用一个或两个字节保存，那么直接采用

VIntWritable或者VLongWritable，它们采用了变长整型的编码方式，

可以大大减少输出数据量。

增加输入文件的副本数，就是充分利用本地读

假设集群有1个Namenode+8个Datanode节点，HDFS默认的副本数

为3，那么map端数据的时候，在启动maptask的机器上

本地的数据为3/8，一部分数据是通过网络从其他节点拿到的

那么如果副本数设置为8会是什么情况？

相当于每个子节点上都会有一份完整的数据，map的时候直接从

本地拿，不需要通过网络这一层了，但是在实际情况中设置副本数为

8是不可行的，因为数据本身非常庞大，副本数超过5对集群的磁盘

就非常有了，所以这项设置需要酌情处理

提前合并map小文件，减少map数量

map阶段的第一步，从磁盘数据并切片，每个分片由一个maptask处

理，当输入的是海量的小文件的时候，会启动大量的maptask，效率

及其之慢，有效的解决方式是使用CombineInputFormat自定义分片策

略对小文件进行合并处理，从而减少maptask的数量，减少map过

程使用的时间。

maptask的启动数量也和下面这几个参数有关系：

mapred.min.split.size：InputSplit的最小值默认值1

mapred.max.split.size：InputSplit的最大值

dfs.block.size：HDFS中一个block大小，默认值128MB

当mapred.min.split.size小于dfs.block.size的时候，一个block会被分为

多个分片，也就是对应多个maptask

当mapred.min.split.size大于dfs.block.size的时候，一个分片可能对应

多个block，也就是一个maptask多个block数据

提高block大小

集群的网络、IO等性能很好的时候，建议调高dfs.block.size

根据数据源的特性，主要调整mapred.min.split.size来控制maptask的

数量

提高map输出的Buffer

该阶段是mapside中将结果输出到磁盘之前的一个处理方式，通过对

其进行设置的话可以减少map任务的IO开销，从而提高性能。

由于map任务运行时中间结果首先在buffer中,默认当缓存的使

用量达到80%的时候就开始写入磁盘,这个过程叫做spill(溢出)

这个buffer默认的大小是100M可以通过设定io.sort.mb的值来进行

调整

当map产生的数据非常大时，如果默认的buffer大小不够看，那么势

必会进行非常多次的spill，进行spill就意味着要写磁