2023年数据中台建设方案.pdf

数据中台建设方案

二〇二二年

目录

1.数据中台平台建设方案2

1.1.总体建设方案2

1.1.1.大数据平台-TDH2

1.1.2.云操作系统-TOS3

1.1.3.大数据平台产品优势7

1.1.4.大数据平台性能优化12

1.2.大数据集成平台22

1.2.1.数据采集层建设22

1.2.2.数据存储层建设32

1.2.3.数据交换层建设41

1.2.4.数据管理层建设62

1.2.5.资源管理层建设76

1.3.大数据计算平台82

1.3.1.数据计算层建设82

1.4.大数据开发平台138

1.4.1.大数据平台可视化工具138

1.4.2.大数据平台集成能力183

1.5.大数据运维平台184

1.5.1.大数据平台运维184

1.5.2.大数据平台安全性218

1.5.3.大数据平台高可用性227

1.5.4.大数据平台开放性230

1.5.5.大数据平台兼容性231

1.数据中台建设方案

1.1.总体建设方案

通过对客户大数据应用平台服务需求的理解，根据建设目标、设计原则的多

方面考虑，建议采用星环科技TranswarpDataHub（TDH）大数据基础平台的架

构方案，基于TranswarpOperatingSystem（简称TOS）云平台方式部署构建。

通过建立大数据集成平台、大数据计算平台、大数据开发平台及大数据运维

平台来满足客户大数据应用平台服务建设的要求。

1.1.1.大数据平台-TDH

星环大数据平台TranswarpDataHub（简称TDH）基于开源Spark技术，从

查询引擎、计算框架、存储引擎和资源调度等方面做了性能的优化，相较于同类

产品，提供更好的性能。改进的分布式计算引擎Inceptor，解决了开源Spark的

稳定性问题，并且已经在众多成功案例中经历了的考验。同时Ipcetor大幅提高

Spark计算性能，是开源的2-10倍。TDHInceptor极大提高了Spark功能和性能

的稳定性，可以7*24小时在企业的生产环境运行，并能在TB级规模数据上高

效进行各种稳定的统计分析。

星环大数据平台TDH采用基于Hadoop的数据平台架构，海量数据查询分

析服务集群既可以处理结构化的数据，也可以处理非结构化、半结构化的数据，

满足配置、日志、网页、音视频、社交网络等多源异构数据的加载和存储，提供

数据查询、全文检索、数据离线批处理分析、交互式分析、图分析、数据挖掘、

机器学习等多种数据处理模式。同时，基于平台提供的实时流处理集群，可以满

足实时数据研判分析服务的需求。整个平台提供完整的多租户功能，对于计算资

源与存储资源以及数据访问资源进行统一控制管理，对于计算资源进行高效的调

度管理与使用控制；对于存储资源进行配额管理；对于数据访问权限，进行严格

的权限管理。在安装、配置、监控、告警方面，通过统一的TranswarpManager

进行运维管理。

星环大数据平台TDH应用范围覆盖各种规模和不同数据量的企业，通过内

存计算、高效索引、执行优化和高度容错的技术，使得一个平台能够处理10GB

到100PB的数据，并且在每个数量级上，都能比现有技术提供更快的性能；企

业客户不再需要混合架构，TDH可以伴随企业客户的数据增长，动态不停机扩

容，避免MPP或混合架构数据迁移的棘手问题。

1.1.2.云操作系统-TOS

星环云操作系统TranswarpOperatingSystem（简称TOS）是为大数据应用

量身订做的云操作系统，基于Docker和Kubernet