6、分布式文件系统(数据库)--学习课件.pptx

Oracle·WDPe·WDP分布式文件系统（数据库）Oracle高校大数据课程系列

本课目标理解关系数据库的原理掌握内存kv数据库的原理及应用掌握列族数据库的原理掌握文档数据库的原理及应用

Coursecatalogue课程目录关系数据库1KV内存数据库2列族数据库3文档数据库4

关系数据库每个字段都被SQL定义成具体的数据类型，表示一定长度的字节序列字段的表示

关系数据库定长记录：它所包含的所有字段均为定长。记录的表示

关系数据库变长记录：允许它包含变长字段，有多重表示方法记录的表示

关系数据库记录在磁盘上的物理存储方式有物理临接存储，指针连接存储。记录集合的存储结构

关系数据库记录在磁盘上的物理存储方式有物理临接存储，指针连接存储。记录集合的存储结构

关系数据库因应用不同有多种组织形式：堆文件、顺序文件、散列文件、按列存储。顺序文件：记录按某个搜索码的值的顺序进行存储。数据文件的组织形式

关系数据库散列文件：直接存取文件或哈希文件，利用哈希函数将具有相同搜索码值的记录散列到外存（通常是磁盘）的同地址范围内。数据文件的组织形式

关系数据库数据文件的组织形式

关系数据库数据文件的组织形式

关系数据库索引

关系数据库顺序文件索引结构：文件按搜索码的顺序存储，索引记录按搜索码值排序---主索引。此种主索引可以是稀疏的，也可以是稠密的。

关系数据库顺序文件索引结构：文件按搜索码的顺序存储，索引记录按搜索码值排序---主索引。此种主索引可以是稀疏的，也可以是稠密的。

关系数据库多级索引有时二者经常结合使用建立多级索引，即先建立稠密主索引，然后在稠密主索引文件上建立稀疏索引。

关系数据库辅助索引

关系数据库B+树索引B+树索引可以作为主索引，也可以作为辅助索引。作为主索引时，可以是稀疏的，也可以是稠密的。

关系数据库散列索引散列索引：散列函数h,搜索码值k,利用h(k)将记录分散到B个桶中的技术。根据B是否固定可有静态散列和动态散列两种方法。令搜索码经过散列并二进制序列化后的长度,N=4，当i=1时，说明有两个桶(0,1)

Coursecatalogue课程目录关系数据库1KV内存数据库2列族数据库3文档数据库4

关系数据库不擅长关系数据库是一个通用性的数据库，并不能完全适应所有的用途。具体来说它并不擅长以下处理：大量数据的写入处理；为有数据更新的表做索引或表结构变更。字段不固定时应用。对简单查询需要快速返回结果的处理。

关系数据库不擅长这是一张订单表。在用户界面中看起来像一个聚合结构，然而其数据却存放在关系型数据库的多张表中。每章表的行对应具体的数据。这样一来，如果在内存中使用了较为丰富的数据结构，那么要把它保存到磁盘之前，必须先将其转换成”关系“。于是就发生了“阻抗失谐”。阻抗失谐

关系模型与聚合数据模型关系模型

关系模型与聚合数据模型聚合数据模型

关系模型与聚合数据模型构建数据存取模型（键值、文档数据库）

关系模型与聚合数据模型构建数据存取模型（列族数据库）

RAMCloudRAMCloud是斯坦福大学提出的大规模集群下的纯内存KV数据库系统，最大的特点是读/写效率高，其设计目标是在数千台服务器规模下读取小对象速度能够达到5?]0纳秒，这种速度是目前常规数据中心存储方案性能的50~1000倍。

RAMCloud每台存储服务器包含两个构件：Master和BackupMaster负责内存KV数据的存储并响应客户端读/写请求，Backup负责在外存存储管理其他服务器节点内存数据的数据备份。每个RAMCloud集群内包含唯一的管理节点，称之为协调器（Coordinator)协调器记载集群中的一些配置信息，比如各个存储服务器的IP地址等，另外还负责维护存储对象和存储服务器的映射关系，即某个存储对象是放在哪台服务器的,，RAMCloud的存储管理单位是子表(Tablet),即若干个主键有序的存储对象构成的集合，所以协调器记载的其实是子表和存储服务器之间的映射关系。RAMCloud整体架构

RAMCloudRAMCloud在内存和外存存储数据时都统一采用LSM树方案.其对应的Log结构被切割为8MB大小的数据片段（Segment)。RAMCloud整体架构

RAMCloud这个机制包含两个方面：一方面是将待备份的数据尽可能多地分散到不同备份服务器中，这样在恢复内存数据的时候每台备份服务器只需传递少量数据，增加并发性。另外一方面是将待重建的内存数据分散到多台存储服务器来恢复，这样也减少了每台服务器需要恢复的数据量，增加并发性。通过以上两种措施可以实现快速数据恢复，RAMCloud可以在1秒之内恢复崩溃的内存数据。数据恢复机制

RedisRedis