统一数据服务平台.pdf

内部教程 注意保密 统一数据服务平台专用教程 中程在线(北京)科技有限公司 网站架构发展历程 • Perl，CGI,Oracle • Java Servlet • EJB • 去EJB重构（底层MQ+ESB,数据挖掘,cms） • Memcached集群,mysql,数据切分,分布式存储， Hadoop,KV,CDN • 安全镜像 • 敏捷，开放，体验（新一代网站架构的要求) 电子商务网站的特点 • 高并发 • 数据实时性要求高 • 数据准确性要求高 • 大多数页面属于动态网页 • 网站需要大量的图片展示 • 用户通过搜索引擎广告类目导航寻找商品 • 网站读多写少，比例超过10:1 • 业务量快速增长 数据库里的数据 数据存在单台数据库中，用户，商品，交易等数 据都在一起，存在许多的关联查询，应用完全耦 合 收藏 用户 商品 评价 交易 连接数问题 无论是小型机还是更高端的存储，随着数据的飞 速增长，都带来瓶颈问题。当oracle数据库连接 数达到5000个以后就相当吃力了。 数据垂直拆分 数据库系统按照不同的业务数据进行一系列垂直 拆分，这种拆分方式具有如下的特点： 1.拆分方式简单，只需要把不同的业务数据进行分离 2.避免了不同的业务数据读写操作时的相互影响 3. 该业务内部及其所导致的问题依旧 用户 商品 交易 评价 垂直拆分问题 • 当单库iops达到几万次 • 单库连接数达到几千次 • 单库每秒SQL执行到几万次 • 搜索dump数据缓慢，DWETL缓慢 • 高端存储设备 异构的读写分离 • 写库为集中式的oracle环境，提供数据安全性保障 • 读库使用mysql，采用数据切分，分库分表，每台mysql放 少量的数据，单个数据分片内部采用mysql复制机制 • 读库的超大memory容量，起到了很好的cache作用,在内 存中的数据查询性能远远高于在硬盘上的性能 • Oracle到多台mysql按规则复制 • 分区键的选择至关重要，尽量让数据访问落在单台数据库 上 • 利用好当前的高端硬件，保护好自己的投资 构建快速的数据查询 应用到DB的数据写入与查询从双向通行变成了单向通行 ，通行效率更高，大大避免了相互影响。“借道”行驶的 情况不再出现 水平拆分的问题 • 对于核心业务，停机时间有限，庞大的数据无法 在短时间内迁移 • 无法在短时间内完成项目发布过程中的测试工作 大数据量核心业务数据迁移的思路 • 先采用异构的数据库读写分离，将数据复制到目 标Mysql结点上，验证可靠性，机器压力 • 将写压力从Oracle结点迁移到mysql各结点， oracle停止写 对于一些不太核心，业务不太复杂，相关影响点 不多的数据，可以直接进行迁移 数据生命周期之历史迁移 商品，交易，评价，物流等数据都有自己的生命 周期。通过历史数据迁移，减少在线库的容量， 提高在线库的性能。 OnLine Data