面試官問(wèn)我zookeeper選舉過(guò)程，我當(dāng)場(chǎng)給他講了源碼
集群概述
zookeper 在生產(chǎn)環(huán)境中通常都是通過(guò)集群方式來(lái)部署的，以保證高可用, 下面是 zookeeper 官網(wǎng)給出的一個(gè)集群部署結(jié)構(gòu)圖：
從上圖可以得出， zookeeper server 的每個(gè)節(jié)點(diǎn)都和主節(jié)點(diǎn)保持通訊的，每個(gè)節(jié)點(diǎn)上面都存儲(chǔ)有數(shù)據(jù)和日志的備份，只有當(dāng)大多數(shù)節(jié)點(diǎn)可用集群才是可用的。本文主要是基于 zookeeper 3.8.0 講解， 主要是通過(guò)源碼的維度來(lái)分析 zookeeper 選舉過(guò)程 對(duì)于 zookeeper 的源碼編譯大家可以參考：編譯運(yùn)行Zookeeper源碼
集群節(jié)點(diǎn)狀態(tài)
集群節(jié)點(diǎn)狀態(tài)定義在 QuorumPeer#ServerState 枚舉，主要是包含 LOOKING、FOLLOWING、LEADING、OBSERVING 四個(gè)狀態(tài), 下面是定義的代碼和說(shuō)明
- public enum ServerState {
- // 尋找leader狀態(tài)。當(dāng)服務(wù)器處于該狀態(tài)時(shí)，它會(huì)認(rèn)為當(dāng)- 前集群中沒(méi)有l(wèi)eader，因此需要進(jìn)入leader選舉狀態(tài)。
- LOOKING,
- // 跟隨者狀態(tài)。表明當(dāng)前服務(wù)器角色是 follower。
- FOLLOWING,
- // 領(lǐng)導(dǎo)者狀態(tài)。表明當(dāng)前服務(wù)器角色是 leader。
- LEADING,
- // 觀察者狀態(tài)。表明當(dāng)前服務(wù)器角色是 observer。
- OBSERVING
- }
Leader 選舉過(guò)程
啟動(dòng)和初始化
QuorumPeerMain 是 zookeeper 的啟動(dòng)類， 通過(guò) main 方法啟動(dòng)
- // 不展示非核心代碼
- public static void main(String[] args) {
- QuorumPeerMain main = new QuorumPeerMain();
- main.initializeAndRun(args);
- }
- protected void initializeAndRun(String[] args) throws ConfigException, IOException, AdminServerException {
- // 集群模式啟動(dòng)
- if (args.length == 1 && config.isDistributed()) {
- runFromConfig(config);
- } else {
- }
- }
- public void runFromConfig(QuorumPeerConfig config) throws IOException, AdminServerException {
- // quorumPeer 啟動(dòng)
- quorumPeer.start();
- }
QuorumPeer 是一個(gè)線程實(shí)例類，當(dāng)調(diào)用 start 方法過(guò)后會(huì)致性 QuorumPeer#run() 方法， 進(jìn)行集群狀態(tài)的判斷最終進(jìn)入是否執(zhí)行選舉或者同步集群節(jié)點(diǎn)數(shù)據(jù)信息等一系列的操作，下面是核心代碼：
- @Override
- public void run() {
- try {
- while (running) {
- switch (getPeerState()) {
- case LOOKING:
- // 投票給自己
- setCurrentVote(makeLEStrategy().lookForLeader());
- break;
- case OBSERVING:
- setObserver(makeObserver(logFactory));
- observer.observeLeader();
- break;
- case FOLLOWING:
- setFollower(makeFollower(logFactory));
- follower.followLeader();
- break;
- case LEADING:
- setLeader(makeLeader(logFactory));
- leader.lead();
- setLeader(null);
- break;
- }
- }
- } finally {
- }
- }
進(jìn)行選舉
FastLeaderElection 是選舉的核心類 ，在這個(gè)類里面有對(duì)投票和選票的處理過(guò)程
- public Vote lookForLeader() throws InterruptedException {
- // 創(chuàng)建一個(gè)當(dāng)前選舉周期的投票箱
- Map<Long, Vote> recvset = new HashMap<Long, Vote>();
- // 創(chuàng)建一個(gè)投票箱。這個(gè)投票箱和recvset 不一樣。
- // 存儲(chǔ)當(dāng)前集群中如果已經(jīng)存在Leader了的投票
- Map<Long, Vote> outofelection = new HashMap<Long, Vote>();
- int notTimeout = minNotificationInterval;
- synchronized (this) {
- // 遞增本地選舉周期
- logicalclock.incrementAndGet();
- // 為自己投票
- updateProposal(getInitId(), getInitLastLoggedZxid(), getPeerEpoch());
- }
- // 廣播投票
- sendNotifications();
- SyncedLearnerTracker voteSet = null;
- // 如果當(dāng)前服務(wù)器的狀態(tài)為L(zhǎng)ooking，和stop參數(shù)為false，那么進(jìn)行選舉
- while ((self.getPeerState() == ServerState.LOOKING) && (!stop)) {
- if (n.electionEpoch > logicalclock.get()) {
- logicalclock.set(n.electionEpoch);
- recvset.clear();
- // totalOrderPredicate 投票 PK
- if (totalOrderPredicate(n.leader, n.zxid, n.peerEpoch, getInitId(), getInitLastLoggedZxid(), getPeerEpoch())) {
- updateProposal(n.leader, n.zxid, n.peerEpoch);
- } else {
- updateProposal(getInitId(), getInitLastLoggedZxid(), getPeerEpoch());
- }
- sendNotifications();
- } else if (totalOrderPredicate(n.leader, n.zxid, n.peerEpoch, proposedLeader, proposedZxid, proposedEpoch)) {
- updateProposal(n.leader, n.zxid, n.peerEpoch);
- sendNotifications();
- }
- // 監(jiān)聽(tīng)通信層接收的投票
- Notification n = recvqueue.poll(notTimeout, TimeUnit.MILLISECONDS);
- // 放入投票箱
- recvset.put(n.sid, new Vote(n.leader, n.zxid, n.electionEpoch, n.peerEpoch));
- // 過(guò)半邏輯
- voteSet = getVoteTracker(recvset, new Vote(proposedLeader, proposedZxid, logicalclock.get(), proposedEpoch));
- }
- }
totalOrderPredicate 主要是選票 PK 的邏輯，我們?cè)賮?lái)看看代碼：
- protected boolean totalOrderPredicate(long newId, long newZxid, long newEpoch, long curId, long curZxid, long curEpoch) {
- if (self.getQuorumVerifier().getWeight(newId) == 0) {
- return false;
- }
- return ((newEpoch > curEpoch)
- || ((newEpoch == curEpoch)
- && ((newZxid > curZxid)
- || ((newZxid == curZxid)
- && (newId > curId)))));
- }
選舉過(guò)程是這個(gè)樣子的 ，其實(shí)官方也給出了注釋：
- 先比較選舉的屆數(shù)，屆數(shù)高的說(shuō)明是最新一屆，勝出
- 再比較zxid，也就是看誰(shuí)的數(shù)據(jù)最新，最新的勝出
- 最后比較serverid，這是配置文件指定的，節(jié)點(diǎn)id大者勝出 選舉完成后通過(guò) sendNotifications(); 通知其他的節(jié)點(diǎn)。
過(guò)程總結(jié)
前面我粗略的講解 zookeeper 從啟動(dòng)過(guò)程在到選舉，選舉結(jié)果同步的，以及如何進(jìn)行投票的選舉結(jié)果確認(rèn)過(guò)程，但是 zookeeper 作為一個(gè)高性能、高可靠的分布式協(xié)調(diào)中間件，在很多設(shè)計(jì)的細(xì)節(jié)也是非常的優(yōu)秀的。
投票過(guò)程
通常情況下，在投票的過(guò)程中 zxid 越大越有可能成為 leader 主要是由于 zxid 越大該節(jié)點(diǎn)的數(shù)據(jù)越多，這樣的話就可以減少數(shù)據(jù)的同步過(guò)程中節(jié)點(diǎn)事務(wù)的撤銷和日志文件同步的比較過(guò)程，以提升性能。下面是 5 個(gè) zookeeper 節(jié)點(diǎn)選舉的過(guò)程。
注: (sid, zxid), 當(dāng)前場(chǎng)景為 server1 ,server2 出現(xiàn)故障 ， server3 的 zxid = 9 ， server4 和 server5 的 zxid 為 8. 進(jìn)行兩輪選舉，最終選出 sever3 為 leader 節(jié)點(diǎn)
多層網(wǎng)絡(luò)架構(gòu)
在前面的分析過(guò)程中我省略了 Zookeeper 節(jié)點(diǎn)之間通訊的 NIO 操作， 這部分簡(jiǎn)單來(lái)講 zookeeper 將他們劃分為傳輸層和業(yè)務(wù)層。通過(guò) SendWorker、RecvWorker 處理網(wǎng)絡(luò)層數(shù)據(jù)包， WorkerSender 和 WorkerReceiver 處理業(yè)務(wù)層的數(shù)據(jù)。
這里會(huì)涉及到多線程操作，zookeeper 在源碼中也給出了大量的日志信息，對(duì)于初學(xué)者有一定的難度，對(duì)此大家可以參考下面的 Zookeeper 選舉源碼流程 這部分的流程圖來(lái)輔助分析。
Leader 選舉源碼流程
結(jié)合上面的梳理，我對(duì) zookeeper 啟動(dòng)和選舉的流程做了一個(gè)比較詳細(xì)的梳理。大家可以結(jié)合 zookeeper 源碼來(lái)理解。
參考文檔
- apache zookeeper 官網(wǎng)
- Zookeeper的領(lǐng)導(dǎo)者選舉機(jī)制解析
- 理解Zookeeper的Leader選舉過(guò)程
