99基于 KubeSphere 的 ClickHouse 容器化实践.pptx

基于KubeSphere的ClickHouse容器化实践

丁源—青云科技/RadonDB开源社区—高级项目测试工程师X

分享议程ClickHouse容器化ClickHouse容器化测试业界案例分享ClickHouse简介介绍ClickHouse的产品特点及优势等。传统数据库部署的挑战；为什么需要容器化以及容器化需要考虑的问题。测试环境的部署；部署方式的区别；ClickHouse容器化的SSBM及TSBS测试

ClickHouse简介01

ClickHouse是什么？ClickHouse是由俄罗斯的Yandex公司于2016年开源的一个用于联机分析(OLAP:OnlineAnalyticalProcessing)的列式数据库管理系统（DBMS）。主要用于在线分析处理查询（OLAP），能够使用SQL查询实时生成分析数据报告。

ClickHouse产品特性

ClickHouse使用场景推荐向量计算，聚合分析，适用于宽表模型单表查询性能优势巨大，在线数据分析能力强大在互联网用户行为分析、广告投放业务以及工业、物联网等分析和时序应用场景方面更具优势

ClickHouse容器化02

传统数据库的挑战

为什么需要容器化？Docker：轻量、标准化的镜像制作轻量级虚拟化(rootfs/cgroup/namespace)Kubernetes：容器编排领域的事实标准调度、运维声明式API设计据云原生据云原生产业联盟发布的《中国云原生用户调查报告(2020年)》显示：60%以上的中国用户已在生产环境中应用容器技术，其中43%的用户已将容器技术用于核心生产业务。

为什么容器化？和IaaS层解耦，专注于数据库PaaS层的建设充分利用IaaS层提供的资源池化、弹性的能力更开放更标准更轻量更灵活

容器×数据库？

数据库容器化的价值IaaS和PaaS完成解耦，实现IaaS层可插拔。IaaS层可以不断演进，为PaaS层提供更加丰富、稳定的能力，且不影响PaaS层架构数据库PaaS层专注于自身平台的建设，实现一套架构run在各种平台上通过K8s提供的统一方式进行管控，降低运维难度

容器化的实现方式？Helm通用的包管理工具部署/升级应用配置分离无状态应用......Operator有状态服务自动化运维全生命周期管理......

RadonDBClickHouse

ClickHouseOperator特性快速部署：一键部署ClickHouse集群及ZooKeeper依赖集群配置：支持自定义集群各类配置，管理用户、权限等弹性伸缩：支持集群水平扩容（注：只能增加分片）以及垂直扩缩容负载均衡：基于Kubernetesservice机制的集群负载均衡监控告警：支持将丰富的ClickHouse集群监控导出至Prometheus，满足运维需要高可用：基于Kubernetes机制多副本的高可用方案，节点故障后自愈备份恢复：开发中，预计下版本支持，届时将支持备份到支持S3协议的存储

ClickHouse产品架构shard-1replica-1……replica-n……shard-nreplica-1……replica-nZooKeeperservice/高可用IPconnect（推荐使用HTTP端口）

ClickHouse产品架构shard-1shard-2replica-1replica-2replica-1replica-2DistributedTableEngine写入数据(b,“beijing”)(a,“wuhan”)(a,“wuhan”)(b,“beijing”)写入某个shard同步写入同一个shardDistributed表引擎负责数据的分片和副本写(a,“wuhan”)(b,“beijing”)

ClickHouse产品架构shard-1shard-2replica-1replica-2replica-1replica-2DistributedTableEngine写入数据(a,“wuhan”)(b,“beijing”)(b,“beijing”)(a,“wuhan”)写入某个shardZooKeeper①pushmetadata②getmetadata③(a,“wuhan”)①pushmetadata②getmetadata③(b,“beijing”)Distributed表引擎只负责数据的分片副本由ReplicatedMergeTree控制，需要依赖zookeeper