199-宜信敏捷数据中台建设实践.pdf

宜信技术学院

CreditEaseTechnicalInstitute

目录

1宜信数据中台顶层设计

CONTENTS

2从中间件工具到平台

3典型案例分析

宜信技术学院

CreditEaseTechnicalInstitute

01

宜信数据中台顶层设计

宜信数据中台顶层设计：特点和需求

•业务条线众多：普惠金融板块、财富管理板块、资产管理板块、金融科技板块，

近百条业务线

•技术选型众多：MySQL、Oracle、HBase、KUDU、Cassandra、Elasticsearch、

MongoDB、Hive、Spark、Presto、Impala、Clickhouse等

•数据需求多样：报表、可视化、服务、推送、迁移、同步、数据应用等

•数据需求多变：经常有周级产出数据需求和数据应用

•数据管理考虑：数据元信息可查，数据定义和流程标准化，数据管理可控等

•数据安全考虑：多级数据安全策略，数据链路可追溯，敏感数据不可泄露等

•数据权限考虑：表级、列级、行级数据权限，组织架构、角色、权限策略自动化

•数据成本考虑：集群成本、运维成本、人力成本、时间成本、风险成本等

宜信数据中台顶层设计：定位

宜信数据中台从数据技术和计算能力复用，到数据资产和数据服务复用

数据中台会以更大价值带宽，快准精让数据直接赋能业务

业务领域业务领域业务领域业务领域

数据团队数据团队数据团队数据团队

数数数

据据据

安运管

理

ADX数据中台平台(byADX团队)

全维委

团团

自助化·实时化·统一化·服务化·管理化·可溯化

队队员

会

数据集群数据集群数据集群数据集群

宜信数据中台顶层设计：价值

q定制化需求造成重复开发ü平台化，透明封装复用技术组件

q内包实施团队需排期快ü自助化，简单配置，月=天

qT+1延时满足不了精细化运营ü实时化，驱动业务增长，天=分