ZooKeeper入门+安装
发布日期:2021-06-28 20:55:12
浏览次数:3
分类:技术文章
本文共 8392 字,大约阅读时间需要 27 分钟。
ZooKeeper入门
一、ZooKeeper简介
1. ZooKeeper是什么
(帮助我们维护服务器使得服务器具有高可用性)
- zookeeper 动物园管理员 Apache ZooKeeper是一个开源的分布式服务框架,为分布式应用提供协调服务,用来解决分布式应用中的数 据管理问题,如:配置管理、域名服务、分布式同步、集群管理等 分布式和集群的概念: - 分布式 将一个大型应用的不同业务部署在不同的服务器上,解决高并发的问题 - 集群 将同一个业务部署在多台服务器上,提高系统的高可用性
2. ZooKeeper组成
主要包括两部分:==文件系统、通知机制==
2.1 文件系统
ZooKeeper维护一个类似Linux文件系统的数据结构,用于存储数据- 数据模型结构是一种树形结构,由许多节点构成- 每个节点叫做ZNode(ZooKeeper Node)- 每个节点对应一个唯一路径,通过该路径来标识节点,如 /app1/p_2- 每个节点只能存储大约1M的数据![在这里插入图片描述](https://img-blog.csdnimg.cn/20200217103129983.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdzaGVuZ3dlaTIzMDYxMg==,size_16,color_FFFFFF,t_70)节点类型有四种: 持久化的: - 持久化目录节点 persistent 客户端与服务器断开连接,该节点仍然存在 - 持久化顺序编号目录节点 persistent_sequential 客户端与服务器断开连接,该节点仍然存在,此时节点会被顺序编 号,如:000001、000002..... 临时的: - 临时目录节点 ephemeral 客户端与服务器断开连接,该节点会被删除 - 临时顺序编号目录节点 ephemeral_sequential 客户端与服务器断开连接,该节点会被删除,此时节点会被顺序编号,如:000001、000002.....
2.2 通知机制
ZooKeeper是一个基于观察者模式设计(被观察的对象发生变化,他就知道)的分布式服务管理框架 1. ZooKeeper负责管理和维护项目的公共数据,并接受观察者的注册(订阅) 2. 一旦这些数据发生变化,ZooKeeper就会通知已注册的观察者 3. 此时被zookeeper通知的观察者就可以做出相应的反应简单来说,客户端注册监听它关心的目录节点,当目录节点发生变化时,ZooKeeper会通知客户端ZooKeeper是一个订阅中心(注册中心)![在这里插入图片描述](https://img-blog.csdnimg.cn/20200217104542150.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdzaGVuZ3dlaTIzMDYxMg==,size_16,color_FFFFFF,t_70)
3. zookeeper应用场景
3.1 配置管理
场景:集群环境、服务器的许多配置都是相同的,如:数据库连接信息,当需要修改这些配置时必须同时修改每台服务器,很麻烦。zookeeper解决:把这些配置全部放到ZooKeeper上,保存在ZooKeeper的某个目录节点中,然后所有的应用程序(客户端)对这个目录节点进行监视Watch,一旦配置信息发生变化,ZooKeeper会通知每个客户端,然后从ZooKeeper获取新的配置信息,并应用到系统中。
3.2 集群管理
场景:集群环境下,如何知道有多少台机器在工作?是否有机器退出或加入?需要选举一个总管master,让总管来管理集群zookeeper解决:在父目录GroupMembers下为所有机器创建临时目录节点,然后监听父目录节点的子节点变化,**一旦有机器挂掉,该机器与ZooKeeper的连接断开,其所创建的临时目录节点被删除,所有其他机器都会收到通知。**当有新机器加入时也是同样的道理。选举master:为所有机器创建临时顺序编号目录节点,给每台机器编号,然后每次选取编号最小的机器作为master
3.3 负载均衡
ZooKeeper本身是不提供负载均衡策略的,需要自己实现,所以准确的说,是在负载均衡中使用ZooKeeper来做集群的协调(也称为软负载均衡)实现思路: 1. 将ZooKeeper作为服务的注册中心,所有服务器在启动时向注册中心登陆自己能够提供的服务 2. 服务的调用者到注册中心获取能够提供所需要服务的服务器列表,然后自己根据负载均衡算法,从中选取一台服务器进行连接 3. 当服务器列表发生变化时,如:某台服务器宕机下线,或新机器加入,ZooKeeper会自动通知调用者重新获取服务列表
实际上利用了ZooKeeper的特性,将ZooKeeper用为服务的注册和变更通知中心
二、ZooKeeper安装
1. 安装
ZooKeeper一般都运行在Linux平台 步骤: 1. 官网下载:http://zookeeper.apache.org/ 解压zookeeper3.4.13.tar.gzcd ~/software tar -zxf zookeeper3.4.13.tar.gz ``` 2. 配置文件
# 创建存放数据文件的目录 cd zookeeper3.4.13/ mkdir data # 创建配置文件 cd conf cp zoo_sample.cfg zoo.cfg # 默认使用的是zoo.cfg,名称固定必须是zoo.cfg,zookeeper默认使用zoo.cfg这个名字为配置文件名 # 修改配置文件 vim zoo.cfg dataDir=../data # 指定数据存放目录
3. 启动zookeeper
cd bin ./zkServer.sh start # 启动 ./zkServer.sh status # 查看状态 ./zkServer.sh stop #停止 ./zkServer.sh restart # 重启
4. 客户端连接zookeeper
./zkCli.sh # 启动客户端,默认连接本机的2181端口 或 ./zkCli.sh -server 服务器地址:端口 # 连接指定主机、指定端口的zookeeper quit # 退出客户端 ```
2. 配置文件
ot@ysw:/home/ysw/zookeeper/zookeeper1/conf# vim zoo.xfgroot@ysw:/home/ysw/zookeeper/zookeeper1/conf# lsconfiguration.xsl log4j.properties zoo.cfg zoo_sample.cfg# The number of ticks that the initial # synchronization phase can takeinitLimit=10# The number of ticks that can pass between # sending a request and getting an acknowledgementsyncLimit=5# the directory where the snapshot is stored.# do not use /tmp for storage, /tmp here is just # example sakes.dataDir=../data# the port at which the clients will connectclientPort=2181# the maximum number of client connections.# increase this if you need to handle more clients#maxClientCnxns=60## Be sure to read the maintenance section of the # administrator guide before turning on autopurge.## http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance## The number of snapshots to retain in dataDir#autopurge.snapRetainCount=3# Purge task interval in hours# Set to "0" to disable auto purge feature#autopurge.purgeInterval=1server.1=192.168.0.101:6661:7771server.2=192.168.0.101:6662:7772server.3=192.168.0.101:6663:7773
三、客户端操作
- 常用命令
- 详解 查看指定节点的详细信息: ls2 /
# 子节点名称数组[zookeeper]# ---------------节点的状态信息,也称为stat结构体-------------------------------#创建该znode的事务的zxid(ZooKeeper Transaction ID)# 事务ID是ZooKeeper为每次更新操作/事务操作分配一个全局唯一的id,表示zxid,值越小,表示越先执行cZxid = 0x0 # 0x0表示十六进制数0# 创建时间ctime = Thu Jan 01 08:00:00 CST 1970# 最后一次更新的zxidmZxid = 0x0# 最后一次更新的时间mtime = Thu Jan 01 08:00:00 CST 1970# 最后更新的子节点的事务id(zxid)pZxid = 0x0# 子节点的变化号,表示子节点被修改的次数,1表示从未被修改过cversion = 1# 当前节点的变化号,0表示从未被修改过dataVersion = 0# 访问控制列表的变化号 access control listaclVersion = 0# 如果临时节点,表示当前节点的拥有者的sessionId# 如果不是临时节点,则值为0ephemeralOwner = 0x0# 数据长度dataLength = 0 # 子节点数据numChildren = 1
顺序编号节点:
- 顺序编号会紧跟在节点名称后面,节点最终名称为:节点名+序号,如/test0000000005 - 顺序编号是一个递增的计数器 - 顺序编号是由父节点维护,从已有的子节点个数开始(包括临时节点和被删除的节点) - 如果子节点为空,则从0000000000开始,依次递增1 - 在分布式系统中,顺序编号可以被用于为所有的事件进行全局排序,这样客户端就可以根据序号推断事件的顺序四、ZooKeeper集群
1. 配置集群
步骤: 1. 准备多台ZooKeeper服务器 2. 配置ZooKeeper服务器 在每台服务器的conf/zoo.cfg文件中添加如下内容:
server.20=192.168.4.20:2888:3888server.21=192.168.4.21:2888:3888server.22=192.168.4.22:2888:3888
格式: server.A=B:C:D A表示这台服务器的编号ID,是一个数字 B表示服务器的IP地址或域名 C表示这台服务器与集群中的Leader交换信息时使用的端口 D表示执行选举Leader服务器时互相通信的端口 3. 创建myid配置文件 在集群环境下,需要在dataDir 目录中创建一个名为myid 的文件,文件内容是当前服务器的编号ID,即上面配置的A
cd dataecho A的值 > myid
ZooKeeper启动时会读取这个文件,将里面的数字与zoo.cfg中配置的server.A进行比较,从而判断这台服务器是哪个 4. 测试集群环境 启动所有ZooKeeper服务器,查看状态 此时在某台服务器上执行更新操作时,其他服务器也会同步
2. 集群特性
- 一个ZooKeeper集群中,有一个领导者Leader和多个跟随者Follower - Leader负责进行投票的发起和决议,更新系统状态 - Follower用于接收客户端的请求并向客户端返回结果,在选举Leader过程中参与投票 - 半数机制:集群中只要有半数以上节点存活,集群就能够正常工作,所以一般集群中的服务器个数都为奇数 - 全局数据一致:集群中每台服务器保存一份相同的数据副本,不论客户端连接到哪个服务器,数据都是一致的 - 更新请求顺序执行:来自同一个客户端的更新请求,按其发送顺序依次执行 - 数据更新的原子性:一次数据更新,要么成功,要么失败 - 实时性:在一定的时间范围内,客户端能读取到最新数据
3. 选举机制
ZooKeeper在提供服务时会自动选举一个节点服务器作为Leader,其他都是Follower选举流程: 1. Server1启动,给自己投票,然后发送投票信息,由于其它服务器都还没启动,所以它发现的消息收不到 任何反馈,此时Server1为Looking状态 2. Server2启动,给自己投票,同时与Server1通信交换选举结果,由于Server2的id值较大,所以Server2胜 出,但由于投票数没有过半,此时Server1和Server2都为Looking状态 3. Server3启动,给自己投票,同时与Server1和Server2通信交换选举结果,由于Server3的id值较大,所以 Server3胜出,此时票数已经过半,所以Server3为Leader,Server1和Server2为Follower 4. Server4启动,给自己投票,同时与Server1、Server2、Server3通信交换选举结果,尽管Server4的id较 大,但由于集群中已经存在Leader,所以Server4只能为Follower 5. Server5启动,同Server4类似,只能为Follower 总结: - 每个服务器在启动时都会选择自己,然后将投票信息发送出去 - 服务器编号ID越大,在选择算法中的权重越大 - 投票数必须过半,才能选出Leader - 谁是Leader:启动顺序的前集群数/2+1 个服务器中,id值最大的会成为Leader
4. 监听机制
4.1 监听节点值的变化
# 在集群的A服务器,监听某个节点值的变化get /yyy watch# 在集群的B服务器,修改对应节点的值set /yyy myyyy# 此时A服务器会收到事件NodeDataChangedWATCHER::WatchedEvent state:SyncConnected type:NodeDataChanged path:/yyy
监听Watch事件是一个一次性的触发器,当数据改变时只会触发一次,如果以后这个数据再发生改变,则不会再次触发
4.2 监听节点的子节点变化# 在集群的A服务器,监听某个节点的子节点的变化ls /yyy watch# 在集群的B服务器,创建/修改/删除对应节点的子节点create /yyy/hello hello# 此时A服务器会收到事件NodeChildrenChangedWATCHER::WatchedEvent state:SyncConnected type:NodeChildrenChanged path:/yyyorg.apache.zookeeper zookeeper 3.4.13 </
五、Java访问ZooKeeper
步骤:
- 添加jar包
org.apache.zookeeper zookeeper 3.4.13
- 操作
public static void main(String[] args) throws IOException, KeeperException,InterruptedException { //获取ZooKeeper的连接,即创建ZooKeeper的客户端String connectString = "127.0.0.1:2181"; //服务器地址int sessionTimeout = 3000; //超时时间,单位为毫秒Watcher watcher = new MyWatcher();ZooKeeper zkClient = new ZooKeeper(connectString, sessionTimeout,watcher);// Thread.sleep(2000);// System.out.println(zkClient.getState());/*** 操作ZooKeeper*///查看指定节点下的内容// Listchildren = zkClient.getChildren("/", true);//第二个参数表示是否监视该节点// System.out.println(children);//创建节点,OPEN_ACL_UNSAFE表示acl权限列表为完全开放,PERSISTENT表示节点类型为持久化节点// zkClient.create("/world", "世界".getBytes(),ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);//获取节点的数据(节点的值和节点状态Stat)// byte[] data = zkClient.getData("/world", true, null);// System.out.println(new String(data));// Stat stat = new Stat();// byte[] data = zkClient.getData("/hello", true, stat);// byte[] data = zkClient.getData("/hello", new DataWatcher(), stat);// System.out.println(new String(data));// // System.out.println(stat);// System.out.println(stat.getCtime());// System.out.println(stat.getVersion());// System.out.println(stat.getDataLength());//修改节点的数据// zkClient.setData("/hello","aaa".getBytes(),stat.getVersion()); //第三个参数表示当前节点的数据版本,一般先获取数据stat,然后指定数据版本// zkClient.setData("/hello", "bbb".getBytes(), 1); //也可以设置为1,表示不检测版本//删除节点// zkClient.delete("/hello", 1);//判断节点是否存在System.out.println(zkClient.exists("/hello",false)); //存在时返回节点状态,不存在则返回null//休眠// Thread.sleep(1000000);//关闭连接zkClient.close();}
转载地址:https://blog.csdn.net/yangshengwei230612/article/details/104353234 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!
发表评论
最新留言
哈哈,博客排版真的漂亮呢~
[***.90.31.176]2024年04月22日 19时48分45秒
关于作者
喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!
推荐文章
深入解析android核心组件和应用框架,最全Android知识总结
2019-04-29
深入解析android核心组件和应用框架,社招面试心得
2019-04-29
深度解析跳槽从开始到结束完整流程,持续更新中
2019-04-29
深度解析跳槽从开始到结束完整流程,面试真题解析
2019-04-29
hashmap扩容过程,字节大神强推千页PDF学习笔记,经典好文
2019-04-29
kotlin面试题!Android大厂高频面试题解析,薪资翻倍
2019-04-29
kotlin面试题!一口气拿了9家公司的offer,已拿offer入职
2019-04-29
retrofit优点,互联网寒冬公司倒闭后,年薪50W
2019-04-29
retrofit原理面试,Android性能优化最佳实践,面试必备
2019-04-29
【工作感悟】Android多进程从头讲到尾,offer拿到手软
2019-04-29
【微信小程序】面试一路绿灯Offer拿到手软,好文推荐
2019-04-29
Android之内存泄漏调试学习与总结,分享PDF高清版
2019-04-29
事件分发机制怎么回答,Android开发究竟该如何学习,使用指南
2019-04-29
python3 语法注意
2019-04-29
C语言复习
2019-04-29
Spring:源码解读Spring IOC原理
2019-04-29
Spring AOP原理分析一次看懂
2019-04-29
Spring AOP的实现原理(二)
2019-04-29
Spring AOP的实现原理(三)
2019-04-29
Spring AOP的实现原理(四)
2019-04-29