Zookeeper配置参数与简介(1)
[前言:这是一次艰苦的旅行...]
一.初始ZK
?
1. 什么是ZK：ZK是一个高效的分布式协调服务，它暴露了一些公用服务，比如命名/配置管理/同步控制/群组服务等。我们可以使用ZK来实现比如达成共识/集团管理/leader选举等。关键词：分布式协调? 高性能
2. 设计目标：
3. ZK server组成: ZK server根据其身份特性分为三种：leader，Follower，Observer，其中Follower和Observer又统称Learner（学习者）。
Leader：负责客户端的writer类型请求Follower：负责客户端的reader类型请求，参与leader选举等Observer：特殊的“Follower”，其可以接受客户端reader请求，单不参与选举。（扩容系统支撑能力，提高了读取速度。因为它不接受任何同步的写入请求，只负责与leader同步数据）4. zoo.cfg配置文件详解(参考源码:org.apache.zookeeper.server.quorum.QuorumPeerConfig)：
??? //最小化配置
??? //扩展配置
globalOutstandingLimit(系统属性：zookeeper.globalOutstandingLimit) //default 1000.如果有大量client，会造成ZK server对请求的处理速度小于client的提交请求的速度，会造成server端大量请求queue滞留而OOM，此参数控制server最大持有未处理请求的个数。preAllocSize(系统属性：zookeeper.preAllocSize)??? //为了避免大量磁盘检索，ZK对txn log文件进行空间预分配，默认为64M。每当剩余空间小于4K时，将会再次“预分配”。你可以尝试减小此值，比如当SNAP较为频繁时(snapCount较小).snapCount(系统属性：zookeeper.snapCount)??? //默认为100000，在新增log（txn log）条数达到snapCount/2 + Random.nextInt(snapCount/2)时，将会对zkDatabase(内存数据库)进行snapshot，将内存中DataTree反序为snapshot文件数据，同时log计数置为0，以此循环。snapshot过程中，同时也伴随txn log的新文件创建（这也是snapCount与preAllocSize参数的互相协调原因）。snapshot时使用随机数的原因：让每个server snapshot的时机具有随即且可控，避免所有的server同时snapshot（snapshot过程中将阻塞请求）。参见SyncRequestProcessor.run()traceFile(系统属性：requestTraceFile)??? //请求跟踪文件，如果设置了此参数，所有请求将会被记录在traceFile.year.month.day，类似与nginx的request log，不过此参数的配置，会带来一定的性能问题（Debug model）。maxClientCnxns=60??? //default 60,一个client与server上最大的socket链接数（socket层），根据IP区分。设置为0，取消此限制。此值在一方面是为了避免DOS攻击。ClientPortAddress??? //new in 3.3.0,IP或者hostName，指定侦听clientPort的address。此参数是可选的，默认是clientPort会绑定到所有的IP上，在物理server具有多个网络接口时，可以设置特定的IP。minSessionTimeout??? //new in 3.3.0,default 2*tickTime,也是server允许的最小值，如果设置的值过小，将会采用默认值。maxSessionTimeout??? //new in 3.3.0,default 20*tickTime,也是server允许的最大值。autopurge.snapRetainCount??? //new in 3.4.0,zk server启动时会开启一个DatadirCleanupManager的线程，用于清理“过期”的snapshot文件和其相应的txn log file，此参数用于设定需要被retain的文件个数。（源码中关于清理机制，还有点意思）autopurge.purgeInterval??? //new in 3.4.0,和上述参数配合，清理任务被处罚的时间间隔，单位：hours，实现原理为Timer.scheduleAtFixedRate(...)??? //cluster环境配置
electionAlg=??? //default 3.使用何种选举方式，（0，1，2，3），“0”表示使用原生的UDP（LeaderElection），“1”表示使用非授权UDP，“2”表示授权UDP，“3”基于TCP的快速选举（FastLeaderElection）。目前保留“3”，其他方式将在未来版本不予支持，参见QuorumPear.createElectionAlgorithm（int alg）initLimit=10??? //Leader与Learner建立的链接中（终端为learner），sock通讯read所阻塞的时间(initLimit * tickTime)，此值为tick的倍数 ，如果Learner数量较多或者Leader的数据很大，建议增加此值。参见LearnerHandler.run()。SyncLimit=5??? //Learner与Leader建立的链接中，sock通讯read阻塞的时间。其中包括数据同步/和数据提交操作等,此值为tick的倍数，参见learner.connectToLeader()/syncWithLeader().peerType??? //ZK server类型：observer，participantleaderServes(系统属性：zookeeper.leaderServes)??? //leader是否接受client请求，默认为“yes”即leader可以接受client的链接。在ZK cluster环境中，当节点数量》3时，建议关闭。server.1=127.0.0.1:2888:3888server.2=127.0.0.1:2889:3889server.3=127.0.0.1:2890:3890server.4=127.0.0.1:2891:3891server.5=127.0.0.1:2892:3892//上述为ZK 节点列表，格式：server.sid = hostname:followingPort:electionPort,如果采用UDP方式，electionPort可以不用设置。
?
cnxTimeout(系统属性：zookeeper.cnxTimeout)??? //leader选举时，socket链接打开的时长。只有在elctionArg为3时生效。??? //不安全配置（不建议修改部分）
skipACL(系统属性：zookeeper.skipACL)??? ??? //默认为no。是否忽略所有的ACL检查。forceSync(系统属性：zookeeper.forceSync)??? //默认为yes。在update执行前，是否强制对操作立即持久写入txn log文件。关闭此选项，会造成服务失效后，尚未持久的数据丢失。Jute.maxbuffer(系统属性：jute.maxbuffer)??? //默认为1024，单位KB，即表示节点可挂载的data最大为1M。如果修改此值，请首先确保所有的server上一致。
4.? ZK Commands:
四字指令(指令为四个字符组成)，是方便我们获取ZK cluster状态信息的简单的方式，开发者可以使用"命令"的方式操作,其通过telnet或者nc的方式向ZK的clientPort发送指令.(源码:FourLetterWordMain.java)
【$echo “cmd” | nc ip clientPost】,如下为”cmd”合法值列表:
??? conf:打印server配置信息
??? cons:列举出与server建立的所有链接/session详情，包括数据接收/发送量，sessionId，操作延迟等等。
??? crst：reset关于链接/session的统计信息。
??? dump:列举所有的session和临时节点，只能在leader上生效。
??? envi：打印server的环境
??? ruok：检测server是否正常，如果响应“imok”则表示正在运行。
??? srst：重置server的统计信息
??? stat：列举server主要的信息。（比如可以获取此server是否为Leader）
??? mntr：输出cluster的健康监控参数数据。
5. 其他;
??? data被存储在data文件夹，txn log被存储在日至文件夹中，默认这两个路径一样。对于每个ZK Server还需要一个myid的文件，此文件作为一个data文件放置与data目录下，用于标识此server的SID，cluster中sid用于区分通讯中server信息，且不能有重复值(myid文件中只包含一个Integer的数字)。snapshot文件即为ZKDatabase的“快照”，其文件名称格式为??? snapshot.zid,其中zid为“快照”开始时最大的zid。
?
?
