2-7-04-03-04-03HBase的实现原理.2-7-04-03-04-03hbase的实现原理.ppt

大数据技术创新应用冷链物流技术与管理资源库山东交通职业学院主讲教师：李海民

大数据概述01大数据采集和预处理02大数据存储与管理03大数据捕捉04大数据分析与计算05大数据可视化06大数据应用07目录Contents

03大数据存储与管理1.分布式存储系统2.分布式文件系统3.非关系数据库（NoSQL）4.分布式数据库（HBase）

3.4分布式数据库HBase01HBase简介02HBase数据模型04HBase运行机制03HBase的实现原理

HBase的实现原理3.4.3HBase的实现原理Hbase的功能组件

HBase的实现原理3.4.3HBase的实现原理库函数：一般用于连接每个客户端，客户端能够利用库函数访问Hbase的数据

HBase的实现原理3.4.3HBase的实现原理HMaster：对于元数据进行维护和变更监控并维护Region服务器列表检索集群中那些Region服务器在工作，并处理Region服务器故障转移处理Region的分配与移除负责调整分裂、合并后的Region的分布进行数据的负载均衡通过ZK发布自己的位置给客户端

HBase的实现原理3.4.3HBase的实现原理HRegionServer负责存储Hbase的实际数据处理分配给Region服务器的数据刷新缓存到HDFS维护HLog（预写入日志）执行压缩对Region进行分片

HBase的实现原理3.4.3HBase的实现原理HRegion一个Hbase表被划分为多个Region，当Region增大到一定地步的时候，就会进行查分，拆分成多个Region。拆分操作并非是物理拆分，而是逻辑上拆分为两个Region，数据的实际存储位置并未发生变化，所以这个拆分过程非常的迅速。同一个Region不会拆分到不同的Region服务器上的，每一个Region服务器大概可以存储10到1000个Region。当文件拆分到一定地步的时候，就会进行合并，合并后的数据才会移动到新的物理存储位置。单个Region的大小推荐为1GB到2GB（根据单台服务器的有效处理能力来决定）

HBase的实现原理3.4.3HBase的实现原理定位Region

HBase的实现原理3.4.3HBase的实现原理Hbase中有着两张特殊的Table，-ROOT-(高版本已经移除)和**.META.**1.通过Zookeeper中记录的**-ROOT-表的位置信息来查找-ROOT-表2.-ROOT-表中记录了.META.表的Region信息，通过-ROOT-表可以访问.META.表总的信息，-ROOT-表只有一个Region**3.**.META.表内部是以key/value的形式来记录了所有用户数据表的Region信息，.META.**表可以有多个Region4.为了加快寻址速度，客户端会缓存数据所在的位置信息。但是，这样就需要解决缓存失效问题。Hbase采用的是惰性解决机制，不会管当前缓存是否失效，只有当依照当前缓存的位置信息去寻找数据寻找不到的时候，才会重新通过三层寻址方法再次寻找数据地址，然后再把最新的位置信息缓存下来

THANKS