实时数仓案例集合.pdf

实时数仓案例集合 目录 实时数仓案例集合………………………………………………………………………………………………………………1 1.滴滴顺风车实时数仓案例……………………………………………………………………………………3 2.快手实时数仓场景化案例……………………………………………………………………………………………………10 3.有赞实时数仓案例………………………………………………………………………………………………………………39 4.腾讯全场景实时数仓建设案例…………………………………………………………………………………………47 1.实时需求日趋迫切 目前各大公司的产品需求和内部决策对于数据实时性的要求越来越迫 切，需要实时数仓的能力来赋能。传统离线数仓的数据时效性是T+1, 调度频率以天为单位，无去支掌实时场景的数据需求。即使能将调度频 率设置成小时，也只能解决部分时效性要求不高的场景，对于实效性要 求很高的场景还是无去优雅的支掌。因此实时使用数据的问题必须得 到有效解决。 2.实时技术日趋成熟 Flink,计算框架越来越成熟。 面 实时任务的开发已经能通过编写SQL的方式来完成，在技术层面 能很好地继承离线数仓的架构设计思想； 另一面，在线数据开发平台所提供的功能对实时任务开发、调试、 运维的支特也日斩趋于成熟，开发成本逐步降低，有助于去做这件事。 二、实时数仓建设目的 1.解决传统数仓的问题 从目前数仓建设的现状来看，实时数仓是一个容易让人产生混淆的概念， 根据传统经验分析，数仓有一个重要的功能，即能够记录历史。通常， 数仓都是希望从业务上线的第一天开始有数据，然后一直记录到现在。 但实时流处理技术， 又是强调当前处理状态的一个技术，结合当前一线 大厂的建设经验和滴滴在该领域的建设现状，我们尝试把公司内实时数 仓建设的目的定位为， 以数仓建设理论和实时技术，解决由于当前离 线数仓数据时效性低解决不了的问题。 现阶段我们要建设实时数仓的主要原因是： 公司业务对于数据的实时性越来越迫切， 需要有实时数据来辅助完成 决策； 实时数据建设没有规范，数据可用性较差，无去形成数仓体系， 资源大 量浪费； 数据平台工具对整体实时开发的支寺也日斩趋于成熟， 开发成本降低。 2.实时数仓的应用场景 实时OLAP分析； 实时数据看板； 实时业务监控； 实时数据接口服务。 三、实时数仓建设方案 接下来我们分析下目前实时数仓建设比较好的几个案例，希望这些案例 能够给大家带来一些启发。 1.滴滴顺风车实时数仓案例 滴滴数据团队建设的实时数仓，基本满足了顺风车业务方在实时侧的各 类业务需求，初步建立起顺风车实时数仓，完成了整体数据分层， 包 含明细数据和汇总数据，统一了DWD层， 降低了大数据资源消耗，提 高了数据 复用性，可对外输出丰富的数据服务。 数仓具体架构如下图所示： 顺风车实时数仓架构 APP 实时数据看板 实时数据产品 实时数据接口服务 实时OLAP 应用层 明细宽表 指标汇总 DWM交易 邀请 财务 流量 汇总层 体验 安全 用户 业务数据 流量数据 维度数据 DWD DIM 明细层 财务 体验 安全 轨遮 测算 圆光 点击 维度层 车主 城市 ODS 贴源层 数据库binlogPublic日志 埋点日志 消息队列 从数据架构图来看，顺风车实时数仓和对应的离线数仓有很多类似的地 方。例如分层结构； 比如ODS层， 明细层，汇总层， 乃至应用 层，他们命名的模式可能都是一样的。但仔细比较不难发现，两者有很 多区别： 与离线数仓相比，