云计算与大数据技术 课件14.2 Hive数据存储模型.pptx

Hive的数据存储模型

Hive的数据存储模型

Hive中所有的数据都被存储在HDFS中，没有专门的数据存储格式（可支持Text、Avro、ORC、SequenceFile、ParquetFile、RCFile等），只需要在创建表时指定Hive数据中的列分隔符和行分隔符，Hive就可以解析数据。

Hive的数据存储模型

创建一个内部表cityInfo（cityID,cityName,population），代码如下：

createtablecityInfo(

cityIDstring,

cityNamestring,

populationint)

rowformatdelimited

fieldsterminatedby,

storedastextfile;

Hive的数据存储模型

Hive中的数据模型包括数据库（Database）、表（Table）、分区（Partition）和桶（Bucket）。

Hive的数据存储模型

（1）数据库（Database）：在HDFS中，数据库表现为${hive.Metastore.warehouse.dir}目录下的一个文件夹。在创建表时，如果不指定数据库，则默认为“default”数据库。

（2）表（Table）：在HDFS中，表表现为所属数据库目录下的一个文件夹。Hive中默认创建的是内部表，这种表的数据由Hive来管理。当删除表时，表的数据和元数据都会被删除。

Hive的数据存储模型

（3）分区（Partition）：在Hive表查询时，可能只需要扫描表中的某部分数据，不需要扫描表中的全部内容，因此在建表时引入了分区的概念。

在Hive表查询时，如果指定了分区字段作为筛选条件，那么只需要到对应的分区目录中检索数据即可，减少了处理的数据量，从而有效地提高了效率。

Hive的数据存储模型

（4）桶（Bucket）：桶可以被理解为将“大表”细分为“小表”的一种数据结构。这种设计主要是为了提高查询效率，使得进行抽样查询时更加便捷。

Hive的数据存储模型

桶是Hive数据模型中的最小单元。当某数据被加载到桶中时，首先会根据字段的值对其进行哈希处理，然后用哈希结果除以桶的数量来决定该数据应该存储在哪个桶中。这样就确保了每个桶中都有数据，但每个桶中的数据条数可能并不相等。

Hive的数据存储模型

数据加载-哈希取值-分桶

Hive的数据存储模型

桶是一种技术，用于将数据分解为更小、更易管理的部分。这种技术主要是为了提高数据的处理和查询效率。在Hive中，桶可以应用于表或分区。

Hive的数据存储模型