Kafka多种跨IDC灾备方案调研对比.docxVIP

?

?

Kafka多种跨IDC灾备方案调研对比

?

?

【摘要】某行Kafka的重要性日益增长，逐步优化跨IDC的Kafka连续性建设已经成为目前亟待解决的问题。本文就目前已有的灾备方案在元数据同步、数据复制、消费位移同步、灾备模式等方面进行调研对比。

1.前言

为了尽量减少自然和人为灾难(如停电、灾难性软件故障和网络中断)对业务的影响，以及随着我行基于Kafka的实时业务不断增长，Kafka的重要性日益增长，在我行逐步优化跨IDC的Kafka连续性建设已经成为我们目前亟待解决的问题。

本文就目前已有的灾备方案在元数据同步、数据复制、消费位移同步、灾备模式等方面进行调研对比。

2.现有灾备方案

方案

描述

使用方

MirrorMaker1(简称MM1)

原理是启动消费者从源集群进行消费，然后发送到目标集群，功能较简单

MirrorMaker2(简称MM2)或

基于MM2的改进

基于KafkaConnect框架实现，由LinkedIn工程师贡献，修复MM1的局限性，Topic和分区可自动感知，acl和配置可自动同步，支持双活，提供offset转换功能

360

ConfluentReplicator

Confluent收费版，与MM2相比，双活模式更优雅，可支持单条消息的修改

Confluent

基于Follower的同步机制

利用Kafka的副本同步机制创建Fetcher线程同步数据，需要在原生Kafka上进行二次开发

字节、滴滴

uReplicator

改进MM1，利用分布式的任务管理框架ApacheHelix控制Partition的分配，不需要全部rebalance

Uber

brooklin

改进MM1，实现思路和MM2类似，与uReplicator一样，为了减少rebalance，采用StickyAssignment控制Partition的分配，除了支持Kafka集群间的复制，还能作为AzureEventHubs，AWSKinesis流式服务之间的通道，另外还能作为CDC连接器

LinkedIn

3.各方案的主要设计点对比分析

3.1元数据同步

元数据同步主要是指Topic、Partition、Configuration、ACL的同步，我们需要评估各方案在新增Topic，分区扩容后、修改Configuration和ACL后能否自动感知，以及评估方案中选择复制的Topic是否灵活(比如是否支持白名单、黑名单机制，是否支持正则)，目标集群中Topic名称是否发生改变(决定是否支持双向复制，是否会发生循环复制)。

MM1方案中，选择复制的Topic只支持白名单机制(--whitelist或者--include参数指定)，且白名单支持正则写法，但是当源集群新增Topic后，目标集群的auto.create.topics.enable设置为true时，才能自动在目标集群创建相同名称的Topic(可以扩展messagehandler改名)，否则必须重启MirrorMaker才能发现新增的Topic，关于目标集群上的Topic的分区数，MM1是按默认值num.partitions进行配置(其他方案均无该问题)，无法和源集群上保持一致，ACL也无法同步。

相比MM1，MM2弥补了上述不足，主要是依赖MirrorSourceConnector里的多个定时任务实现该功能，更新Topic/Partition、Configuration、ACL的间隔时长分别由三个参数指定，非常灵活。在MM2中，目前截至3.0.0的版本，支持两种复制策略，默认的DefaultReplicationPolicy中目标集群中复制后Topic名称发生变化，前面会加一个源集群的前缀，为了兼容MM1，3.0.0中新增的IdentityReplicationPolicy中目标集群中复制后Topic名称不会发生变化。

ConfluentReplicator，根据官网描述，也同样具备上述功能，原理和MM2类似，只是检测更新只由一个参数确定。Replicator可以定义复制后Topic的名称，由参数topic.rename.format指定，默认值是保持Topic名称不变。

基于Follower的同步机制的方案，由于网上资料不足，具体实现无法得知，但是原理估计和MM2类似，复制后在目标集群中Topic名称保持不变。

uReplicator的实现略有不同，复制哪些Topic，由参数enableAutoWhitelist和patternToExcludeTopics一起决定，当enableAutoWhitelist设置为true时，若源集群和目标集群中存在相同Topic，那么不需要其他设置即可实现数据复制，若设置为false，需要将复制的Topic名称