《数据中台》全景架构及模块解析.pdf

《数据中台》全景架构及模块解析 数据总台的定义 数据中台是企业级能⼒复⽤平台，⽬标是让数据持续⽤起来，通过数据中台提供的 ⼯具、⽅法和运⾏机制，把数据变为⼀种服务能⼒，让数据更⽅便地被业务所使 ⽤。 数据中台全景架构及模块 数据中台总体架构图 数据中台是在底层存储计算平台与上层的数据应⽤之间的⼀整套体系，屏蔽掉底层 存储平台的计算技术复杂性，降低对技术⼈才的需求，可以让数据的使⽤成本更 低。 三句话来概括数据中台的组成架构 通过数据中台的数据汇聚、数据开发建⽴数据资产体系； 通过数据资产管理 （治理）、数据服务体系把数据资产体系变为数据服务能⼒， 服务于企业业务； 数据安全体系、数据运营体系保障数据中台可以⻓期健康、持续运转。 数据中台五个模块：数据汇聚、数据开发、资产管理、数据安全、数据服务。 数据汇聚 数据是数据中台的核⼼，所以数据汇聚⽆疑是数据中台的⼊⼝。数据汇聚，⾸先必 然要有数据来源，有了数据来源之后，需要确定采集⼯具，有了采集⼯具之后你还 要确定存储位置。 数据来源 企业中的数据来源极其多，主要⽅⾯包括：数据库，⽇志，前端埋点，爬⾍系统 数据库通常⽤mysql作为业务库，存储业务⼀些关键指标，⽐如⽤户信息、订单 信息。也会⽤到⼀些Nosql数据库，⼀般⽤于存储⼀些不那么重要的数据。 ⽇志是重要数据来源，因为⽇志记录了程序各种执⾏情况，其中也包括⽤户的业 务处理轨迹，根据⽇志我们可以分析出程序的异常情况，也可以统计关键业务指 标⽐如PV，UV。 前端埋点同样是⾮常重要的来源，⽤户很多前端请求并不会产⽣后端请求，⽐如 点击，但这些对分析⽤户⾏为具有重要的价值，例如分析⽤户流失率，是在哪个 界⾯，哪个环节⽤户流失了，这都要靠埋点数据。 爬⾍系统⼤家应该也不陌⽣了，虽然现在很多企业都声明禁⽌爬⾍，但往往禁⽌ 爬取的数据才是有价值的数据，有些管理和决策就是需要竞争对⼿的数据作为对 ⽐，⽽这些数据就可以通过爬⾍获取。 这些数据分散在不同的⽹络环境和存储平台中，不同的项⽬组还要重复去收集同 样的数据，因此数据难以利⽤，难以复⽤、难以产⽣价值。数据汇聚就是使得各 种异构⽹络、异构数据源的数据，⽅便统⼀采集到数据中台进⾏集中存储，为后 续的加⼯建模做准备。 数据汇聚可以是实时接⼊，⽐如实时消费mysql的binlog进⾏数据同步，也可以 是离线同步，⽐如使⽤sqoop离线同步mysql数据到hive。 技术选型 数据汇聚⼀般⽤到的技术包括: Flume Sqoop Datax Canal 数据落地 采集之后必然需要将数据落地，即存储层，常⻅的有： MYSQL、Oracle、Tidb Hive、Hdfs、HBase Redis ElasticSearch 数据开发 数据开发可以理解为数据汇聚和数据资产的⼀个桥梁。何为数据资产？数据资产是 有价值的数据。⽽数据汇聚是原始数据，业务⼈员⼀般是难以使⽤的。原始数据到 有价值的数据，是需要⼀个过程的。那么就是让数据开发模块来完成这个过程。 数据加⼯及管控 数据开发是⼀整套数据加⼯及管控的⼯具，包括离线开发，智能调度，实时开发， ⼈⼯智能等。 ⽐如，某公司想知道⼴告投放的效益，⽽原始数据包括埋点数据，⽤户注册数据， ⽤户消费数据等，是不是需要整理⼀个sql，跑⼀个⼴告效益报表呢？毫⽆疑问需 要。那么我们就可以通过智能调度平台，定时跑出业务需要的数据；也可以通过实 时流计算，实时展示业务需要的数据。这都是属于数据开发模块的功能。 离线计算：计算推荐使⽤Spark\Hive。调度平台可以使⽤Azkaban、Oozie、 EasySchedule。 实时计算：推荐使⽤Flink、SparkStructStreaming、Spa