2-7-04-03-04-04HBase运行机制.2-7-04-03-04-04hbase运行机制.ppt

大数据技术创新应用

冷链物流技术与管理资源库

山东交通职业学院

目录

Contents

03

大数据存储与管理

1.分布式存储系统

2.分布式文件系统

3.非关系数据库（NoSQL）

4.分布式数据库（HBase）

3.4分布式数据库HBase

运行机制（物理存储和逻辑架构）

3.4.4HBase运行机制

物理存储

1.HBase表中的所有行都是按照行键的字典序排列的。因为一张表中包含的行的数量非常多，有时候会高达几亿行，所以需要分布存储到多台服务器上。

因此，当一张表的行太多的时候，HBase就会根据行键的值对表中的行进行分区，每个行区间构成一个“分区（Region）”，包含了位于某个值域区间内的所有数据

运行机制（物理存储和逻辑架构）

3.4.4HBase运行机制

物理存储

2.Region是按大小分割的，每个表一开始只有二个Region，随着数据不断插入到表中，Region不断增大，当增大到一个阈值的时候，Region就会等分为两个新的Region。当表中的行不断增多时，就会有越来越多的Region

运行机制（物理存储和逻辑架构）

3.4.4HBase运行机制

物理存储

3.Region是HBase中数据分发和负载均衡的最小单元，默认大小是100MB到200MB。不同的Region可以分布在不同的RegionServer上，但一个Region不会拆分到多个RegionServer上。每个RegionServer负责管理一个Region集合

运行机制（物理存储和逻辑架构）

3.4.4HBase运行机制

物理存储

4.Region是HBase在RegionServer上数据分发的最小单元，但并不是存储的最小单元。事实上，每个Region由一个或者多个Store组成，每个Store保存一个列族的数据。每个Store又由一个memStore和0至多个StoreFile组成，StoreFile以HFile格式保存在HDFS上。

运行机制（物理存储和逻辑架构）

3.4.4HBase运行机制

逻辑架构

在分布式的生产环境中，HBase需要运行在HDFS之上，以HDFS作为其基础的存储设施。HBase的上层是访问数据的JavaAPI层，供应用访问存储在HBase中的数据。HBase的集群主要由Master、RegionServer和Zookeeper组成

运行机制（物理存储和逻辑架构）

3.4.4HBase运行机制

逻辑架构

Master：

1.Master主要负责表和Region的管理工作。表的管理工作主要是负责完成增加表、删除表、修改表和查询表等操作。

2.Region的管理工作更复杂一些，Master需要负责分配Region给RegionServer，协调多个RegionServer，检测各个RegionServer的状态，并平衡RegionServer之间的负载。

。

运行机制（物理存储和逻辑架构）

3.4.4HBase运行机制

逻辑架构

Master：

3.当Region分裂或合并之后，Master负责重新调整Region的布局。如果某个RegionServer发生故障，Master需要负责把故障RegionServer上的Region迁移到其他RegionServer上。

4.HBase允许多个Master结点共存，但是这需要Zookeeper进行协调。当多个Master结点共存时，只有一个Master是提供服务的，其他的Master结点处于待命的状态。当正在工作的Master结点宕机时，其他的Master则会接管HBase的集群。

运行机制（物理存储和逻辑架构）

3.4.4HBase运行机制

逻辑架构

RegionServer

1.HBase有许多个RegionServer，每个RegionServer又包含多个Region。RegionServer是HBase最核心的模块，负责维护Master分配给它的Region集合，并处理对这些Region的读写操作。Client直接与RegionServer连接，并经过通信获取HBase中的数据。

2.HBase釆用HDFS作为底层存储文件系统，RegionServer需要向HDFS写入数据，并利用HDFS提供可靠稳定的数据存储。RegionServer并不需要提供数据复制和维护数据副本的功能。

运行机制（物理存储和逻辑架构）

3.4.4HBase运行机制

逻辑架构