下面我们来说一下Kafka的集群管理。我们知道Kafka的高可用是通过集群的方式实现的，那么集群管理是怎么实现的呢？简单来说，Kafka的集群管理就是通过Zookeeper实现的。Kafka通过zookeeper来实现集群的分布式协调服务，leader选举等功能，每个broker会在Zookeeper上注册一个Znode,并在该节点注册一个监听器，当节点信息变更时，leader可以通过监听器获取到事件并进行处理。broker向Zookeeper注册的信息包括节点的通信协议，主机名，端口等。下面我们来详细说一下Kafka集群管理的几个方面。
（1）ISR设计
Kafka的replica有两种角色：leader和follower。leader负责管理集群的分区等配置，当leader挂掉后，Kafka集群会启动新一轮的选举，从follower中选出一个新的leader，是不是所有的follower都有机会参加选举呢，其实不是的，下面我们就来介绍一下Kafka的ISR机制。
ISR也叫in-sync replica，就是同步副本集，当Kafka集群中的副本同步落后整个集群一定的进度后，就会将该副本移除ISR，当该副本追上整个集群的同步进度时，会将该副本重新加回ISR中，只有在ISR中的副本才有资格参加leader的选举，其实很好理解，如果你这个副本都落后整个集群进度那么多了，将这个副本选举成leader肯定是有问题的。Kafka就是通过ISR机制实现集群的管理的。
（2）controller设计
在Kafka集群中，会有一个broker被选举出来作为controller，这个controller负责管理和协调Kafka集群中的所有节点。当创建topic时，controller会负责分配partition，并为partition分配相应的副本和ISR，选出副本的leader并将所有副本放到ISR中，然后将配置存到Zookeeper中。当副本和ISR分配好后，controller会将副本的信息同步到所有的broker上。下面我们来看一下controller的职责有哪些。
1.获取集群元数据信息
controller会维护集群的元数据信息，当元数据信息发生改变时，controller会通知其他节点元数据信息改变并将最新的元数据信息同步到所有的broker上。
2.创建topic
controller会在zookeeper上创建一个监听器，当broker有新的topic创建时，controller会收到通知，并更新元数据信息，将元数据信息同步到所有的broker上，controller还会在新创建的topic节点下注册一个监听器，以方便当topic信息改变时可以收到通知。
3.删除topic
controller会在topic删除的路径上设置一个监听器，当删除topic时，controller会收到通知，并更新元数据信息及进行同步。
4.分区重分配
Kafka集群会在重新分配集群的时候在指定的路径下新建一个Znode，并扩展分区上的节点，controller会重新对分区上的副本尽心分配，并更新元数据的信息。
5.broker加入集群
当broker启动时会在指定路径下创建一个Znode，controller会监听该路径下节点的事件，这样实现了动态的管理集群节点。然后controller会更新元数据信息并同步。
6.leader选举
当集群启动时，会选举一个leader来管理集群，就是在Zookeeper的指定路径下创建一个Znode，所有的broker都会来抢着注册这个Znode，但是只有一个可以注册成功，controller会为节点注册一个监听器，方便管理该节点状态的改变。
下面我们来说一下controller是由哪几个部分组成的。
1.ControllerContext
这个是controller数据的缓存，保存了所有Zookeeper中元数据的信息，也是controller的核心。
2.基础组件
基础组件包括了ZkClient，及Zookeeper的监听器，还有选举器，通过选举器在集群启动和节点发生改变时选举最新的leader，是controller提供管理功能的基础组件。
到这里，我们分析了Kafak集群的管理，来总结一下，Kafka集群通过Zookeeper保存了所有broker的节点信息，并通过controller管理集群，controller会在集群启动时为每个节点注册一个监听器，当节点发生改变时可以动态的管理节点，在管理副本时，Kafka通过ISR机制管理副本同步，还会选举出leader来管理整个集群的数据和同步配置信息。
Kafka的集群管理就介绍到这里了。
网友评论