Kafka 中文使用指南.docx

.目录 kafka中文文档0100 目录 相关资料 入门 1 介绍 主题和日志 分布式 生产者 消费者 保证此处翻译偏差较大待重新翻译 2 使用案例 消息处理 网站活动跟踪 度量 日志收集 流处理 Event Sourcing 提交日志 3 快速开始 步骤1 下载代码 步骤2 启动服务 步骤3 创建一个主题 步骤4 发送消息 步骤5 启动消费者 步骤6 设置服务器集群 步骤7 使用kafka connect 导入导出数据 4 生态 5 版本升级 API 1 生产者api 2 消费者api 22 Old Simple Consumer API 23 新版消费者 Api 3 streams api 配置 1 代理broker服务器配置 最核心最必须最基础的配置如下 2 生产者producer配置 3 消费者consumer配置 31 旧版消费者配置 32 新版消费者配置 4 kafka Connect 配置 设计 1 动机 2 持久化 恒定的时间复杂度 3 效率 点到点的批量压缩 4 生成者 负载均衡 异步发送 5 消费者 推送 vs 拉取 消费者位置 离线数据加载 6 消息传递语义 7 复制 不纯洁的leader选举如果所有副本都失效了怎么办 可用性和持久性 副本管理 8 日志压缩 9 配额限额 实现 1 api 设计 生产者APIs Consumer APIs 2 网络层 3 消息 4 消息格式 5 日志 写 读 6 分布 操作 1 kafka基本操作 平滑关闭 通过机架平衡副本机架就是机房中的机架01000版本新增加了机架感知功能 管理消费者组 2 数据中心 3 重要配置 4 java版本 5 硬件和操作系统 6 监控 7 zookeeper 安全 1 安全概述 2 Encryption and Authentication using SSL 3 Authentication using SASL 4 Authorization and ACLs 5 Incorporating Security Features in a Running Cluster 6 ZooKeeper Authentication New Clusters Migrating Clusters Migrating the ZooKeeper Ensemble kafka Connect 1 概述 2 用户指南 3 Connector开发指南 kafka Streams 1 概述 2 开发者指南 核心概念 Low-Level Processor API High-Level Streams DSL 英文版 api doc 0.相关资料 代理服务器集群搭建 环境搭建另一 各种MQ比较 1.入门 1.1 介绍 Kafka是分布式、分区、可复制的提交日志服务。它采用独特的设计来实现消息服务系统。 这意味着什么呢？ 首先，让我们回顾一些基本的消息传递术语： 主题：维护的一组消息分类； 生产者：向kafka的主题中发布消息 消费者：订阅并消费主题中的消息 代理：kafka集群由一个或多个服务端组成。每个服务端称为代理 因此，生产者通过网络发送消息给kafka集群，同时，kafka集群把消息转发给消费者，如下： 客户和服务器之间的通信是通过一个简单的、高性能的、语言无关的TCP协议。我们不仅提供 \o Java 知识库 Java?客户端，同时提供其它 多种语言版本的客户端 主题和日志 一个主题就是一个用来发布消息的目录或订阅的名字，对于每个topic，Kafka维护一个分区日志，看起来如下? 每个分区是一个有序的，可以不断追加消息的消息序列。分区中的每个消息都会分配一个在分区内是唯一的序列号，这个序列号叫做偏移量(offset)。 kafka集群保留所有已经发布的消息（无论这些消息是否已经被消费）一段时间。我们可以配置这个时间来决定集群维护消息的时间长短。比如：如果消息被设置保存两天，那么两天内，消息都是可以