Hive数据仓库应用教程项目8 Hive优化.pptxVIP

;;;;;;

Hive参数优化的方式主要有本地模式、配置MapReduce压缩、配置Map个数、配置Reduce个数、合并小文件等五种。

一、本地模式

大多数的HadoopJob是需要Hadoop提供的完整的可扩展性来处理大数据集的。不过，有时Hive的输入数据量是非常小的。在这种情况下，为查询触发执行任务消耗的时间可能会比实际Job的执行时间要多的多。对于大多数这种情况，Hive可以通过本地模式在单台机器上处理所有的任务。对于小数据集，执行时间可以明显被缩短。;例题1：使用本地模式和默认模式分别查询表bigtable。

操作过程：

step01： 创建数据库unit8db中表bigtable。创建数据库unit8db中的表bigtable，具体操作命令如下：hive CREATE TABLE bigtable

(id bigint, t bigint, uid string, keyword string,url_rank int, click_numint, click_urlstring)

ROW FORMAT DELIMITED FIELDS TERMINATED by,;

查询表bigtable是否创建成功，成功后，向表中加载数据，如图8-2和图8-3所示，表bigtable中共有320条数据，此处只显示前15条数据。具体操作命令如下：

hive LOAD DATA LOCAL inpath /usr/datas8/bigtable001.csvINTO TABLE bigtable;;图8-2;图8-4;然后，查询表bigtable中的数据，如图8-6和图8-7所示，由结果可知，时间为13.028seconds，具体操作命令如下：hive SELECT count(*) from bigtable；;图8-6;二、配置MapReduce压缩

MapReduce的主要压缩过程有三个阶段：map之前、map之后、reduce之后。

其中，

1. 压缩的原则

运算密集型的Job，少用压缩

IO密集型的Job，多用压缩

2. 压缩算法和性能对比分别如表8-2和表8-3所示;表8-3压缩性能的对比;压缩算法选择

需要考虑压缩/解压缩速度、压缩率（压缩后存储大小）、压缩后是否可以支持切片

压缩参数配置，包含Hadoop编码/解码器和参数配置，分别如表8-4和表8-5所示

表8-4Hadoop编码/解码器;;因此，根据MapReduce的工作原理，如图8-8所示，可知，压缩共分为三个阶段。;三、配置Map和Reduce个数

通常情况下，作业会通过input的目录产生一个或者多个Map任务。主要的决定因素有：input的文件总个数，input的文件大小，集群设置的文件块大小。并不是Map??越多越好。如果一个任务有很多小文件（远远小于块大小128m），则每个小文件被视为一个块，用一个Map任务来完成，而一个Map任务启动和初始化的时间远远大于逻辑处理的时间，就会造成很大的资源浪费。而

且，同时可执行的Map数是受限的。

并不是保证每个Map处理接近128M的文件块，性能就一定高，就可以高枕无忧了。比如有一个127M的文件，正常使用一个Map去完成，但这个文件只有一个或者两个小字段，却有几千万的记录，如果Map处理的逻辑比较复杂，用一个Map任务去做，肯定也比较耗时。;针对上面的问题，我们需要采取两种方式来解决：即减少Map数和增加Map数；

1.复杂文件增加Map数

Map的数量通常是由Hadoop集群的DFS块大小确定的，也就是输入文件的总块数，正常的Map数量的并行规模大致是每一个Node是10~100个，对于CPU消耗较小的作业可以设置Map数量为300个左右，但是由于Hadoop的没一个任务在初始化时需要一定的时间，因此比较合理的情况是每个Map执行的时间至少超过1分钟。

具体的数据分片是这样的，InputFormat在默认情况下会根据Hadoop集群的DFS块大小进行分片，每一个分片会由一个Map任务来进行处理，当然用户还是可以通过参数mapred.min.split.size参数在作业提交客户端进行自定义设置。

还有一个重要参数就是mapred.map.tasks，这个参数设置的map数量仅仅是一个提示，只有当InputFormat决定了map任务的个数比mapred.map.tasks值小时才起作用。