FastData DLink 实时湖仓引擎架构设计与落地实践 .pdf

FastData DLink 实时湖仓引擎 架构设计与实践 QCon 2023全球软件开发北京大会 滴普科技 DLink SE / 杨维亮 Will 自我介绍 杨维亮 @Deepexi-FastData产品线-DLink SE  专注于大数据与数据库内核领域。曾在华为2012实验室高斯部参与 QCon 2023全球软件开发北京大会 自研分布式内存数据库的架构设计与开发。对分布式架构、数据库 内核、云原生数仓有深入的理解和实践  当前负责DLink产品的架构设计以及核心技术的预研工作 目录 1）DLink 架构介绍 2 ) DLink 核心功能 QCon 2023全球软件开发北京大会 3 ) DLink 落地实践 4 ) DLink 未来规划 DLink 架构介绍 QCon 2023全球软件开发北京大会 DLink 产品架构 数据工程师 数据分析师 数据源 DLink 实时湖仓引擎 分析和应用 服务层 用户空间 数据探查 数据开发 数据分析 业务库 计算层 OLAP引擎 BI 流批一体引擎 （联邦查询/多维分析/物化视图 ） 事件流 数据 技术 统一Catalog 分享服务 数据安全/权限 QCon 2023全球软件开发北京大会 集成 元数据 报表 DCT API/SDK 文件/块 语义 中间结果 索引 冷热 加速层 缓存 缓存 缓存 缓存 加速 数据科学 图形/视频/音频 存储层 开放数据格式 索引 多级分区 物联网IOT 云端 机器学习 S3/OSS • 实时获取 + 事件订阅 DLink 实时湖仓架构 • 湖仓实时/流式 join • 分钟级数据延迟 实时数仓 / 离线数仓