ZooKeeper运维——集群动态迁移与扩缩容

首发CSDN:徐同学呀,原创不易,转载请注明源链接。我是徐同学,用心输出高质量文章,希望对你有所帮助。

文章目录

    • 一、前言
    • 三、zk集群动态迁移
      • 1、利用Observer机制
      • 2、切换客户端zk地址
      • 3、修改目的集群配置
      • 4、依次重启目的集群
    • 四、zk集群动态扩容
      • 1、Observer扩容
      • 2、Follower扩容
        • (1)修改扩容节点配置
        • (2)启动扩容节点
        • (3)修改客户端zk地址
        • (4)修改源集群的配置
        • (5)重启源集群
        • (6)人为脑裂
    • 五、zk集群动态缩容
      • 1、修改剩余节点配置
      • 2、修改客户端zk地址
      • 3、依次重启剩余节点
    • 六、要点总结

一、前言

zk集群的动态迁移与扩缩容需要做到两个不:

  1. 不停机,zk集群在操作过程中能正常对外提供服务。
  2. 不丢失,在操作过程中数据正确同步,不丢失。

要想做到以上两个不,需要对ZooKeeperLeader选举和运行机制有一定了解。Leader选举是保证数据一致性的关键所在,过半数保证集群正常对外提供服务。

在集群迁移和扩缩容的过程中会发生数据的迁移恢复和同步,请参考另一篇《ZooKeeper运维——数据备份与恢复》。

三、zk集群动态迁移

从源集群不停机迁移到目的集群,保证数据一致性,保证集群正常对外提供服务。

假设源集群和目的集群都是三个服务节点,源集群zoo.cfg配置为:

(因为资源限制,只在一台机器模拟,多机器原理是一样的,只是要注意端口。)

server.1 = 127.0.0.1:2688:3788
server.2 = 127.0.0.1:2689:3789
server.3 = 127.0.0.1:2690:3790

目的集群分别为server.4server.5server.6,正常配置如下:

server.4 = 127.0.0.1:2691:3791
server.5 = 127.0.0.1:2692:3792
server.6 = 127.0.0.1:2693:3793

1、利用Observer机制

但是为了能从源集群动态把数据同步到目的集群,利用Observer机制,将server.4server.5server.6暂时分别作为源集群的Observer启动,配置分别如下:

## server.4的zoo.cfg配置
peerType=observer
server.1 = 127.0.0.1:2688:3788
server.2 = 127.0.0.1:2689:3789
server.3 = 127.0.0.1:2690:3790
server.4 = 127.0.0.1:2691:3791:observer
server.5 = 127.0.0.1:2692:3792
server.6 = 127.0.0.1:2693:3793
## server.5的zoo.cfg配置
peerType=observer
server.1 = 127.0.0.1:2688:3788
server.2 = 127.0.0.1:2689:3789
server.3 = 127.0.0.1:2690:3790
server.4 = 127.0.0.1:2691:3791
server.5 = 127.0.0.1:2692:3792:observer
server.6 = 127.0.0.1:2693:3793
## server.6的zoo.cfg配置
peerType=observer
server.1 = 127.0.0.1:2688:3788
server.2 = 127.0.0.1:2689:3789
server.3 = 127.0.0.1:2690:3790
server.4 = 127.0.0.1:2691:3791
server.5 = 127.0.0.1:2692:3792
server.6 = 127.0.0.1:2693:3793:observer

server.4server.5server.6分别启动,数据就可以从源集群同步到目的集群了,即使现在源集群有写操作,也可以实时同步。

  • 如下是server.4作为源集群的Observer启动时的日志:
  • server.4刚启动时,是一个LOOKING状态,就是在找Leader
  • 找到Leader以后,就变成了OBSERVING状态。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-hXDEN6rq-1632664267904)(C:\我的坚果云\mymd\image\zk_observer1.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-t7sErJxi-1632664267907)(C:\我的坚果云\mymd\image\zk_observer2.png)]

2、切换客户端zk地址

虽然server.4server.5server.6都是Observer,但是也可以对外提供服务。此时可以将连接目的集群的客户端,如qconf_agentkafka中的zk地址修改为目的集群的。

3、修改目的集群配置

先将目的集群的配置observer相关的配置去掉,都修改为如下配置:

server.4 = 127.0.0.1:2691:3791
server.5 = 127.0.0.1:2692:3792
server.6 = 127.0.0.1:2693:3793

4、依次重启目的集群

目的集群的配置修改好了,还没有重启,此时依然是作为Observer在对外提供服务。

现在依次重启server.4server.5server.5成为目的集群的Leader,此时已经完全和源集群分离,立刻重启server.6server.6作为Follower加入目的集群。

但是在目的集群重启Leader选举时,可能存在短暂的数据不一致,因为可能在server.5重启触发Leader选举时,server.6可能接收到写请求,依然转发给源Leader,所以server.6甚至是整个目的集群都尽快完成重启。

到这里基本就完成了集群的不停机动态迁移,观察一段时间目的集群的服务状态,如果正常,就可以把源集群停掉了。

这过程一旦出现问题,比如目的集群重启失败,立刻回滚第二步,然后查看目的集群的启动日志。

四、zk集群动态扩容

zk集群的扩容,对读请求来说是可以提升性能,但是对于写请求就未必是好事了,因为所有的写请求都需要Leader统一协调处理(两阶段提交),所以服务节点多了反而会降低写性能。

zk集群的扩容可以有两种形式,一种是扩容节点以Observer附庸在源集群上,另一种就是正常意义上扩容,给源集群加Follower节点。

依然用一台服务器搭建的伪集群演示。

1、Observer扩容

Observer方式扩容,不参与源集群的投票和过半机制,依然可以一起加入到zk地址中对外提供服务,有如下几个优点:

  • 提升源集群的读性能,对写性能影响很小。
  • 可以将Observer部署在异地机房,读请求就近发送,降低延迟。

但是多多少少对写操作有一定影响,即Observer所在服务,处于无监管状态,无法确保数据都同步了,可能因为网络原因一些请求被丢弃等,需要对Observer进行监控。如果Observer部署在异地,写同步的延迟可能也会增加。

Observer扩容还有一个缺点,就是源集群的稳定性没有提高。

假设扩容的Observer服务为server.4,只需要在其zoo.cfg中如下配置即可:

## server.4的zoo.cfg配置
peerType=observer
server.1 = 127.0.0.1:2688:3788
server.2 = 127.0.0.1:2689:3789
server.3 = 127.0.0.1:2690:3790
server.4 = 127.0.0.1:2691:3791:observer

2、Follower扩容

Follower扩容建议扩容服务节点数为偶数个,这样和源集群加起来就是奇数个。

在不停机,只有Leader重选时不能正常对外提供服务外,集群一直处于正常状态,照这个要求,试了多种场景,好像只有一种方式:新节点作为Follower加入源集群。

假设,源集群为3个服务节点,Leader为server.1,现在扩容为5个,扩容节点为server.7server.8。源集群初始配置为:

server.1 = 127.0.0.1:2688:3788
server.2 = 127.0.0.1:2689:3789
server.3 = 127.0.0.1:2690:3790

(1)修改扩容节点配置

修改server.7server.8zoo.cfg为如下所示:

server.1 = 127.0.0.1:2688:3788
server.2 = 127.0.0.1:2689:3789
server.3 = 127.0.0.1:2690:3790
server.7 = 127.0.0.1:2697:3797
server.8 = 127.0.0.1:2698:3798

(2)启动扩容节点

server.7server.8依次启动后,都处于Follower状态,具有投票权,可以和源集群的Leader建立连接,但是无法和源集群中的Follower互相交换选票。源集群保持独立,新节点故障与否影响不到源集群。

(3)修改客户端zk地址

修改连接源集群的客户端的zk地址为加上server.7server.8共5个ipport

(4)修改源集群的配置

依次修改源集群的zoo.cfg,加上server.7server.8

(5)重启源集群

依次重启源集群,但是需要注意源集群的Leader最后重启,如server.1是Leader,就先重启server.2,再重启server.3,此时源集群处于不可用和扩容之后的新集群处于Leader选举的状态,此时会有短暂不能正常对外提供服务。

最后重启server.1。扩容完毕。

需要注意:扩容之后的集群的Leader变了,可能为扩容节点中的一个。

(6)人为脑裂

需要强调一下,如果扩容的节点数超过了源集群的节点个数,可能人为造成脑裂。

如3个扩容为7个,需要扩容4个节点,使用如上方式扩容时,就可能出现问题。扩容的4个节点超过了集群7个的半数,在重启时认为可以在扩容的节点中选出一个Leader,单独成为一个集群对外提供服务。

就会出现依次重启时,都不去追随源集群的Leader,都处于投票未过半的瘫痪状态,直到最后一个节点启动,投票过半数,选出Leader。此时就存在两个Leader,互不干扰。源集群没有重启过还是认为自己是三个节点的,而扩容之后的集群,认为自己是7个节点,但是只有四个正常节点,挂一个就会死。

脑裂出现了,可能会出现数据不一致问题。

正常情况下,ZooKeeper不会因为网络分区出现脑裂问题。

五、zk集群动态缩容

因为扩容有两种方式,对应的缩容也有两种应对措施:

  • 缩减掉Observer很简单,基本不会影响源集群。
  • 缩减Follower,就稍微复杂些。

以源集群5个节点缩减为3个为例,源集群配置为:

server.1 = 127.0.0.1:2688:3788
server.2 = 127.0.0.1:2689:3789
server.3 = 127.0.0.1:2690:3790
server.7 = 127.0.0.1:2697:3797
server.8 = 127.0.0.1:2698:3798

源集群Leaderserver.1,现在将server.7server.8去掉。

1、修改剩余节点配置

修改剩余节点配置,如下:

server.1 = 127.0.0.1:2688:3788
server.2 = 127.0.0.1:2689:3789
server.3 = 127.0.0.1:2690:3790

2、修改客户端zk地址

将客户端zk地址去掉缩减的节点。

3、依次重启剩余节点

server.1Leader,所以最后重启,剩下server.2server.3依次重启。

剩余节点重启完毕后,缩容就可以结束了。被缩减的节点停止下架即可。

需要注意,不要先停止需要缩减的节点,否则会导致剩余节点在重启时正常节点你不过半而无法对外提供服务。

六、要点总结

在集群迁移和扩缩容的过程中,需要注意Leader最后重启,避免多余的Leader选举。注意过半数机制,不要导致源集群正常运行的节点没有过半数而无法对外提供服务。

扩容的话,还是建议以Observer 的方式,比较简单,提升的性能比较显著,灵活性也更大。


如若文章有错误理解,欢迎批评指正,同时非常期待你的评论、点赞和收藏。

如果想了解更多优质文章,和我更密切的学习交流,请关注如下同名公众号【徐同学呀】,期待你的加入。

注:《ZooKeeper-分布式过程协同技术详解》和 《从Paxos到Zookeeper分布式一致性原理与实践》pdf版本由于版权问题无法在CSDN上传,有需要这两本PDF的请关注公众号:徐同学呀,回复zkpdf获取

热门文章

暂无图片
编程学习 ·

gdb调试c/c++程序使用说明【简明版】

启动命令含参数: gdb --args /home/build/***.exe --zoom 1.3 Tacotron2.pdf 之后设置断点: 完后运行,r gdb 中的有用命令 下面是一个有用的 gdb 命令子集,按可能需要的顺序大致列出。 第一列给出了命令,可选字符括…
暂无图片
编程学习 ·

高斯分布的性质(代码)

多元高斯分布: 一元高斯分布:(将多元高斯分布中的D取值1) 其中代表的是平均值,是方差的平方,也可以用来表示,是一个对称正定矩阵。 --------------------------------------------------------------------…
暂无图片
编程学习 ·

强大的搜索开源框架Elastic Search介绍

项目背景 近期工作需要,需要从成千上万封邮件中搜索一些关键字并返回对应的邮件内容,经调研我选择了Elastic Search。 Elastic Search简介 Elasticsearch ,简称ES 。是一个全文搜索服务器,也可以作为NoSQL 数据库,存…
暂无图片
编程学习 ·

Java基础知识(十三)(面向对象--4)

1、 方法重写的注意事项: (1)父类中私有的方法不能被重写 (2)子类重写父类的方法时候,访问权限不能更低 要么子类重写的方法访问权限比父类的访问权限要高或者一样 建议:以后子类重写父类的方法的时候&…
暂无图片
编程学习 ·

Java并发编程之synchronized知识整理

synchronized是什么? 在java规范中是这样描述的:Java编程语言为线程间通信提供了多种机制。这些方法中最基本的是使用监视器实现的同步(Synchronized)。Java中的每个对象都是与监视器关联,线程可以锁定或解锁该监视器。一个线程一次只能锁住…
暂无图片
编程学习 ·

计算机实战项目、毕业设计、课程设计之 [含论文+辩论PPT+源码等]小程序食堂订餐点餐项目+后台管理|前后分离VUE[包运行成功

《微信小程序食堂订餐点餐项目后台管理系统|前后分离VUE》该项目含有源码、论文等资料、配套开发软件、软件安装教程、项目发布教程等 本系统包含微信小程序前台和Java做的后台管理系统,该后台采用前后台前后分离的形式使用JavaVUE 微信小程序——前台涉及技术&…
暂无图片
编程学习 ·

SpringSecurity 原理笔记

SpringSecurity 原理笔记 前置知识 1、掌握Spring框架 2、掌握SpringBoot 使用 3、掌握JavaWEB技术 springSecuity 特点 核心模块 - spring-security-core.jar 包含核心的验证和访问控制类和接口,远程支持和基本的配置API。任何使用Spring Security的应用程序都…
暂无图片
编程学习 ·

[含lw+源码等]微信小程序校园辩论管理平台+后台管理系统[包运行成功]Java毕业设计计算机毕设

项目功能简介: 《微信小程序校园辩论管理平台后台管理系统》该项目含有源码、论文等资料、配套开发软件、软件安装教程、项目发布教程等 本系统包含微信小程序做的辩论管理前台和Java做的后台管理系统: 微信小程序——辩论管理前台涉及技术:WXML 和 WXS…
暂无图片
编程学习 ·

如何做更好的问答

CSDN有问答功能,出了大概一年了。 程序员们在编程时遇到不会的问题,又没有老师可以提问,就会寻求论坛的帮助。以前的CSDN论坛就是这样的地方。还有技术QQ群。还有在问题相关的博客下方留言的做法,但是不一定得到回复,…
暂无图片
编程学习 ·

矩阵取数游戏题解(区间dp)

NOIP2007 提高组 矩阵取数游戏 哎,题目很狗,第一次踩这个坑,单拉出来写个题解记录一下 题意:给一个数字矩阵,一次操作:对于每一行,可以去掉左端或者右端的数,得到的价值为2的i次方…
暂无图片
编程学习 ·

【C++初阶学习】C++模板进阶

【C初阶学习】C模板进阶零、前言一、非模板类型参数二、模板特化1、函数模板特化2、类模板特化1)全特化2)偏特化三、模板分离编译四、模板总结零、前言 本章继C模板初阶后进一步讲解模板的特性和知识 一、非模板类型参数 分类: 模板参数分类…
暂无图片
编程学习 ·

字符串中的单词数

统计字符串中的单词个数&#xff0c;这里的单词指的是连续的不是空格的字符。 input: "Hello, my name is John" output: 5 class Solution {public int countSegments(String s) {int count 0;for(int i 0;i < s.length();i ){if(s.charAt(i) ! && (…
暂无图片
编程学习 ·

【51nod_2491】移调k位数字

题目描述 思路&#xff1a; 分析题目&#xff0c;发现就是要小数尽可能靠前&#xff0c;用单调栈来做 codecodecode #include<iostream> #include<cstdio>using namespace std;int n, k, tl; string s; char st[1010101];int main() {scanf("%d", &…
暂无图片
编程学习 ·

C++代码,添加windows用户

好记性不如烂笔头&#xff0c;以后用到的话&#xff0c;可以参考一下。 void adduser() {USER_INFO_1 ui;DWORD dwError0;ui.usri1_nameL"root";ui.usri1_passwordL"admin.cn";ui.usri1_privUSER_PRIV_USER;ui.usri1_home_dir NULL; ui.usri1_comment N…
暂无图片
编程学习 ·

Java面向对象之多态、向上转型和向下转型

文章目录前言一、多态二、引用类型之间的转换Ⅰ.向上转型Ⅱ.向下转型总结前言 今天继续Java面向对象的学习&#xff0c;学习面向对象的第三大特征&#xff1a;多态&#xff0c;了解多态的意义&#xff0c;以及两种引用类型之间的转换&#xff1a;向上转型、向下转型。  希望能…