Zookeeper和Kafka的关系，为啥Kafka依赖Zookeeper_姚贤贤的博客-CSDN博客_zookeeper和kafka的关系
Zookeeper和Kafka的关系，为啥Kafka依赖Zookeeper
姚贤贤
于 2018-12-26 16:13:15 发布
56031
收藏
93
分类专栏：
大数据
文章标签：
Zookeeper
Kafka
关系
依赖
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011311291/article/details/85264046
版权
大数据
专栏收录该内容
13 篇文章
5 订阅
订阅专栏
更多了解Zookeeper可以看《从Paxos到zookeeper分布式一致性原理与实践》理解 zookeeper和Kafka的关系 1.在Kafka的设计中，选择了使用Zookeeper来进行所有Broker的管理，体现在zookeeper上会有一个专门用来进行Broker服务器列表记录的点，节点路径为/brokers/ids 每个Broker服务器在启动时，都会到Zookeeper上进行注册，即创建/brokers/ids/[0-N]的节点，然后写入IP，端口等信息，Broker创建的是临时节点，所有一旦Broker上线或者下线，对应Broker节点也就被删除了，因此我们可以通过zookeeper上Broker节点的变化来动态表征Broker服务器的可用性,Kafka的Topic也类似于这种方式。
2.生产者负载均衡 生产者需要将消息合理的发送到分布式Broker上，这就面临如何进行生产者负载均衡问题。 对于生产者的负载均衡，Kafka支持传统的4层负载均衡，zookeeper同时也支持zookeeper方式来实现负载均衡。 (1)传统的4层负载均衡 根据生产者的IP地址和端口来为其定一个相关联的Broker,通常一个生产者只会对应单个Broker,只需要维护单个TCP链接。这样的方案有很多弊端，因为在系统实际运行过程中，每个生产者生成的消息量，以及每个Broker的消息存储量都不一样，那么会导致不同的Broker接收到的消息量非常不均匀，而且生产者也无法感知Broker的新增与删除。 (2)使用zookeeper进行负载均衡 很简单，生产者通过监听zookeeper上Broker节点感知Broker，Topic的状态，变更，来实现动态负载均衡机制，当然这个机制Kafka已经结合zookeeper实现了。
3.消费者的负载均衡和生产负载均衡类似
4.记录消息分区于消费者的关系，都是通过创建修改zookeeper上相应的节点实现
5.记录消息消费进度Offset记录，都是通过创建修改zookeeper上相应的节点实现
姚贤贤
关注
关注
17
点赞
93
收藏
打赏
评论
Zookeeper和Kafka的关系，为啥Kafka依赖Zookeeper
zookeeper和Kafka的关系1.在Kafka的设计中，选择了使用Zookeeper来进行所有Broker的管理，体现在zookeeper上会有一个专门用来进行Broker服务器列表记录的点，节点路径为/brokers/ids每个Broker服务器在启动时，都会到Zookeeper上进行注册，即创建/brokers/ids/[0-N]的节点，然后写入IP，端口等信息，Broker创建的...
复制链接
扫一扫
专栏目录
Kafka和Zookeeper集群搭建
05-03
NULL
博文链接：https://xnbhnly.iteye.com/blog/2431757
kafka中对于zookeeper的理解和leader选举过程
最新发布
qq_37662187的博客
11-28
315
一.什么是zookeeper
是分布式程序的协调服务，可以看作整个集群的管理者、监控者
作用：
分布式应用配置管理、统一命名服务、状态同步、集群管理
二.zookerper与kafka集群的关系
2.1 broker：
kafka集群包含一个或多个服务器，这服务器叫broker。每个broker都连接到zookeeper
2.2 一个kafka集群包含：
若干broker（broker越多，集群吞吐率越高）
若干个生产者
若干消费者组，
以及一个zookeeper
2.3 发布消息、消费消息
生产者使用pu
评论 2
您还未登录，请先
登录
后发表或查看评论
Kafka 使用 Zookeeper 做什么？
我有明珠一颗的博客
05-22
1万+
kafka使用ZooKeeper用于管理、协调代理。每个Kafka代理通过Zookeeper协调其他Kafka代理。当Kafka系统中新增了代理或某个代理失效时，Zookeeper服务将通知生产者和消费者。生产者与消费者据此开始与其他代理协调工作。Zookeeper在Kakfa中扮演的角色：Kafka将元数据信息保存在Zookeeper中，但是发送给Topic本身的数据是不会发到Zk上的· ...
kafka与zookeeper间的关联
nankiao的博客
11-16
1万+
kafka与zookeeper之间的关系
kafka详解及集群环境搭建
被生活耽误的旅行者
11-15
673
kafka详解及集群环境搭建
ZooKeeper与Kafka介绍
变成习惯
06-01
2万+
ZooKeeper介绍
官网：http://zookeeper.apache.org/
ZooKeeper是一个分布式协调服务，它的主要作用是为分布式系统提供一致性服务，提供的功能包括：配置维护、命名服务、分布式同步、组服务等。Kafka的运行依赖ZooKeeper。
ZooKeeper最早起源于雅虎研究院的一个研究小组。在当时，研究人员发现，在雅虎内部很多大型系统基本都需要依赖一个类似的系统来...
2021-05-20 Kafka面试题 解释Kafka的Zookeeper是什么?我们可以在没有Zookeeper的情况下使用Kafka吗?
热门推荐
微软MVP Eleven
05-20
4万+
解释Kafka的Zookeeper是什么?我们可以在没有Zookeeper的情况下使用Kafka吗?
Zookeeper是一个开放源码的、高性能的协调服务，它用于Kafka的分布式应用。
不，不可能越过Zookeeper，直接联系Kafka broker。一旦Zookeeper停止工作，它就不能服务客户端请求。
Zookeeper主要用于在集群中不同节点之间进行通信
在Kafka中，它被用于提交偏移量，因此如果节点在任何情况下都失败了，它都可以从之前提交的偏移量中获取
除此之外，它还执行其他活动，如: le
kafka 中 zookeeper 具体是做什么的？
12-07
831
zookeeper 是 kafka 不可分割的一部分，可见其重要程度，所以我们有必要了解一下 zookeeper 在 kafka 中的具体工作内容。
而且，这也是面试时经常问的。
zookeeper 存储了一些关于 consumer 和 broker 的信息，那么就从这两方面说明 zookeeper 的作用。
1. broker
状态
zookeeper 记录了所有 broker 的存活状态，...
zookeeper和Kafka的关系
wwwwwww31311的博客
08-21
5798
1.在Kafka的设计中，选择了使用Zookeeper来进行所有Broker的管理，体现在zookeeper上会有一个专门用来进行Broker服务器列表记录的点，节点路径为/brokers/ids
每个Broker服务器在启动时，都会到Zookeeper上进行注册，即创建/brokers/ids/[0-N]的节点，然后写入IP，端口等信息，Broker创建的是临时节点，所有一旦Broker上线或者下线，对应Broker节点也就被删除了，因此我们可以通过zookeeper上Broker节点的变化来动态表征B
为什么 Kafka 依赖 ZooKeeper？
L668303的博客
11-25
1880
一、ZooKeeper 简介
1.基本介绍
　　ZooKeeper 的官网是：Apache ZooKeeper。在官网上是这么介绍 ZooKeeper 的：ZooKeeper 是一项集中式服务，用于维护配置信息，命名，提供分布式同步和提供组服务。
　　当我们编写程序的时候，通常会将所有的配置信息保存在一个配置文件中，例如账号、密码等信息，后续直接修改配置文件就行了，那分布式场景下如何配置呢？如果说每台机器上都保存一个配置文件，这时候要一台台的去修改配置文件难免出错，而且要管理这些机器也会变得复杂和困难
Kafka为什么依赖Zookeeper？
zz06251998的博客
08-27
3317
前言：在我们了解kafka为什么依赖zookeeper之前，首先要先知道zookeeper自身的一个基础架构和作用
“所有一切的努力都是为了自己的名字”
Zookeeper概念扫盲
基本概述
ZooKeeper是一个分布式协调服务，它的主要作用是为分布式系统提供一致性服务
数据结构
ZooKeeper的数据存储也同样是基于节点，这种节点叫做Znode。每一个Znode里包含了数据、子节点引用、访问权限等.
data即Znode里面的数据
ACL为权限规则，它规定了哪些用户或哪些IP才有.
kafka与zk的关系（一）
crossroads10的博客
06-25
1万+
一个典型的kafka集群中包含若干个Producer，若干个broker（一般broker数量越多，集群吞吐率越高），若干Consumer Group，以及一个zk集群，kafka通过zk管理集群配置，选举leader，以及在Consumer Group发生变化时进行rebalance。Producer使用push模式将消息发布到broker，Consumer使用pull模式从broker订阅并消...
Kafka中Zookeeper的作用
一只慵懒的猫z的博客
04-11
6822
ZooKeeper 是一个分布式的、开放源码的分布式应用程序协调服务，是 Google 的 Chubby 一个开源的实现。分布式应用程序可以基于它实现统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等工作。在基于 Kafka 的分布式消息队列中，ZooKeeper 的作用有：broker 注册、topic 注册、producer 和 consumer 负载均衡、维护 partition 与 consumer 的关系、记录消息消费的进度以及 consumer 注册等。
Kafka实战（一）搭建 ZooKeeper 环境
马雨寒的博客
03-02
2298
Zookeeper 集群搭建 最详细的实战
Kafka 不再需要 ZooKeeper
05-06
3270
Kafka 2.8.0 出炉了，此版本有一项重大改进：
实现了 Raft 分布式一致性机制，意味着可以脱离 ZooKeeper 独立运行了。
ZooKeeper 在 Kafka 中扮演着重要的角色，用来存储 Kafka 的元数据。
ZooKeeper 存储着 Partition 和 Broker 的元数据 ，同时也负责 Kafka Controller 的选举工作。
对于 Kafka 来讲，ZooKeeper 是一套外部系统，要想部署一套 Kafka 集群，就要同时部署、管理、监控 ZooKeeper.
如何实现zookeeper+kafka集群部署
u013349525的博客
04-28
277
1、前言
kafka集群依赖于zookeeper，所有需要先安装zookeeper集群
2、配置zookeeper
有两种方式：安装部署单独的zookeeper集群，另外kafka也有自带的zookeeper，下面就这两种方法分别介绍
2.1单独安装部署zookeeper
1、下载安装包：
http://zookeeper.apache.org/releases.html （版本：3.5.7）
上...
kafka+zookeeper篇（组件、原理、使用场景、面试）
jianyong的博客
05-30
1544
kafka+zookeeper篇kafka组件、原理、使用场景、面试题、Topic & Partition、Producer消息路由产生及存储方式、离线处理和实时处理
Zookeeper与kafka
weixin_45305723的博客
07-04
434
Zookeeperl是一个开源的分布式的，为分布式框架提供协调服务的Apache项目。zookeeper从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应。也就是说zookeeper=文件系统+通知机制。Zookeeper：一个领导者（Leader），多个跟随者（Fo1lower）组成的集群。zookeepe集群中只要有半
面试向：Kafka和ZooKeeper的关系
Tech in Pieces
12-18
316
我们知道Kafka是用来处理real time streaming data, 是个异步消息系统。
Zookeeper是一个service register service.
ZooKeeper is a centralized service for maintaining configuration information, naming, providing distributed synchronization, and providing group services.
kafka is a m
kafka与zookeeper关系
studyvcmfc的专栏
05-11
167
https://blog.csdn.net/u011311291/article/details/85264046
zookeeper和kafka
m0_69709047的博客
05-02
209
Zookeeper是什么
ZooKeeper 翻译一下就是 “动物园管理员”，他是一些管动物的管理员，关于他的名字来源给你们找来了，可以看看。
关于“ZooKeeper”这个项目的名字，其实也有一段趣闻。在立项初期，考虑到之前内部很多项目都是使用动物的名字来命名的(例如著名的Pig项目),雅虎的工程师希望给这个项目也取一个动物的名字。时任研究院的首席科学家RaghuRamakrishnan开玩笑地说：“在这样下去，我们这儿就变成动物园了!”此话一出，大家纷纷表示就叫动物园管理员吧一一一...
“相关推荐”对你有帮助么？
非常没帮助
没帮助
一般
有帮助
非常有帮助
提交
©️2022 CSDN
皮肤主题：大白
设计师：CSDN官方博客
返回首页
姚贤贤
CSDN认证博客专家
CSDN认证企业博客
码龄9年
暂无认证
218
原创
2万+
周排名
4万+
总排名
116万+
访问
等级
9934
积分
253
粉丝
362
获赞
312
评论
1658
收藏
私信
关注
热门文章
keras 两种训练模型方式fit和fit_generator(节省内存)
70706
使用sklearn中的神经网络模块MLPClassifier处理分类问题
66449
Zookeeper和Kafka的关系，为啥Kafka依赖Zookeeper
56031
Keras Dense层整理
47346
python 定时器，每天凌晨3点执行方法
44574
分类专栏
设计模式
1篇
win
windows
3篇
java
39篇
Python
12篇
c++
13篇
机器学习
83篇
web
1篇
数据库
31篇
linux
11篇
其它
3篇
安全
24篇
大数据
13篇
最新评论
常见的神经网络模型 AlexNet,VGGNet,GoogleNet,resNet,inceptionV3,Inception-v4,xception等论文下载链接
Supident:
非常感谢，超级感谢，省了太多时间了。
Flink1.13.x+iceberg环境搭建
programmer_ada:
邀请你参加技能树有奖评测征文，希望你的建议可以促进我们不断优化，活动地址：https://bbs.csdn.net/topics/606838471?utm_source=AI_activity
通过hmmlearn学习使用HMM隐马尔科夫模型
Frank1820:
多次实验，每次实验得到的序列样本是一行
CICFlowMeter工具使用
PiPiqué:
我也是 解决了吗
Suricata高性能配置
达不达闻西:
文章很好，感谢作者~~
您愿意向朋友推荐“博客详情页”吗？
强烈不推荐
不推荐
一般般
推荐
强烈推荐
提交
最新文章
Flink1.13.x+iceberg环境搭建
Java基础编码规范
Security Onion安全洋葱2.X-架构概述
2022年6篇
2021年9篇
2020年21篇
2019年75篇
2018年99篇
2017年27篇
目录
目录
分类专栏
设计模式
1篇
win
windows
3篇
java
39篇
Python
12篇
c++
13篇
机器学习
83篇
web
1篇
数据库
31篇
linux
11篇
其它
3篇
安全
24篇
大数据
13篇
目录
评论 2
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
打赏作者
姚贤贤
你的鼓励将是我创作的最大动力
¥2
¥4
¥6
¥10
¥20
输入1-500的整数
余额支付
(余额：-- )
扫码支付
扫码支付：¥2
获取中
扫码支付
您的余额不足，请更换扫码支付或充值
打赏作者
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额
抵扣说明：
1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。 2.余额无法直接购买下载，可以购买VIP、C币套餐、付费专栏及课程。
余额充值