阿里自研数据库-OceanBase实践-课件（PPT-精）.ppt

苏真 2013.4 1 阿里自研数据库Oceanase实践 课程大纲 Why OceanBase 系统架构 数据模型 如何使用 2 WHY Oceanbase 了解OceanBase的特点 恋爱通常是从了解开始的，想用好OceanBase，得先了解它。 OceanBase设计目标： 关系型数据库、结构化数据 分布式、扩展性 千亿级数据量 跨行跨表事务 支持SQL、兼容MYSQL协议 Why OceanBase 传统数据库(mysqloracle)，功能完善，唯一缺点是数据库本身不可扩展，业务高速增长时需要不断折库折表、需要TDDL等中间层支持 OceanBase  RDBMS + Scalability = 关系数据库：ACID SQL 持续可用 + 水平扩展 + 低成本 + 高性能 功能性能 数据库进化的时代到了 mysql和oracle为代表的传统数据库 Nosql很热：hbase，cassandra，mongodb等遍地开发 大数据时代，数据库变革时期正在到来，谁将占据主流？ 现有存储方案对照 7 数据规模 事务与数据一致性 万亿记录(十PB) 千亿记录(百TB) 千万记录(百GB) 十亿记录(TB) 最终一致 单行事务 跨行跨表事务 不同数据库的对比 数据库类型 代表 特点 关系型数据库 mysql,oracle 支持事务、数据一致性好、功能强大，成熟稳定。但扩展性不足 自主开发 OceanBase 支持事务、SQL。功能上接近关系型数据库，兼顾扩展性 NoSQL类型 Cassandra、Hbase 可扩展性好，功能单一；一般不支持事务、不支持表关联查询、数据一致性较弱、有些还没有范围查询 数据库选型 关于开源数据库OceanBase( / )的应用场景： 如果你不需要事务(transaction)，MongoDB等是不错的选择； 如果你的数据量很大，HBase也是不错的选择； 如果你需要事务(transaction)，并且数据量不大，或者你可以接受分库(sharding)后的事务，关系数据库(例如MySQL)是不错的选择； 如果你需要事务(transaction)，并且数据量比较大(例如1TB~几百TB)，或者虽然目前数据量不大，但数据增长很快，你希望免除分库分表的麻烦，那么欢迎你选择OceanBase参考如标题的等式：OceanBase = transactionality + scalability  9 10 系统架构 11 OceanBase设计思路 数据存储：多机磁盘 修改增量：单机内存 Data ＝ 基线数据 (磁盘) ＋ 修改增量 (内存) Query 数据增删改 物理架构 12 App(Client) ChunkServer/ MergeServer ChunkServer/MergeServer ChunkServer/MergeServer ChunkServer/MergeServer RootServer/ UpdateServer (primary) RootServer/ UpdateServer (secondary) RootServer/ UpdateServer (read secondary) meta data increment data base data data merge 13 每日合并：修改增量 很多数据库每天有明显的访问低谷(e.g.,2:00am-5:00am) Data ＝ 基线数据 ＋ 修改增量 新的修改增量 ＋ 读写事务 照常进行 14 OceanBase系统架构 使用MySQL客户端，兼容MySQL应用 修改增量 应用接口 基线数据 配置管理 15 OceanBase读写事务 修改增量 应用接口 基线数据 写事务(UpdateServer)：Redo log + 主备同步 配置管理 16 每日合并期间的query 使用新或旧基线数据，查询结果一样 Data ＝ 基线数据 ＋ 修改增量 新的修改增量 ＋ Query 旧基线 ＝ ＋ 旧增量 ＋ 新增量 Query 新基线 ＝ ＋ 新增量 水平扩展-CS/MS 新增服务器：数据自动迁移且对应用透明 应用不再需要分库分表 应用不再需要耗费时间配合数据库进行扩容 3 3 3 4 4 4 5 5 5 6 6 6 7 7 7 8 8 8 0 0 0 2 2 2 1 1 1 服务器 水平扩展-UPS 备UPS线性扩展 修改增量 应用接口 基线数据 HA 配置管理 跨机房容灾 在二个机房部署主备二个群集，群集之间通过updateserver的commitlog实现自动同步 持续可用：RS/UPS RS/UPS异常，数据不丢，服务不停 修改增量 应用接口 基线数据 HA 配置管理 持续可用：CS CS异常