from: http://www.ibm.com/developerworks/cn/opensource/os-cn-zookeeper/
Zookeeper 分布式服務(wù)框架是 Apache Hadoop 的一個(gè)子項(xiàng)目,它主要是用來(lái)解決分布式應(yīng)用中經(jīng)常遇到的一些數(shù)據(jù)管理問(wèn)題,如:統(tǒng)一命名服務(wù)、狀態(tài)同步服務(wù)、集群管理、分布式應(yīng)用配置項(xiàng)的管理等。本文將從使用者角度詳細(xì)介紹 Zookeeper 的安裝和配置文件中各個(gè)配置項(xiàng)的意義,以及分析 Zookeeper 的典型的應(yīng)用場(chǎng)景(配置文件的管理、集群管理、同步鎖、Leader 選舉、隊(duì)列管理等),用 Java 實(shí)現(xiàn)它們并給出示例代碼。
安裝和配置詳解
本文介紹的 Zookeeper 是以 3.2.2 這個(gè)穩(wěn)定版本為基礎(chǔ),最新的版本可以通過(guò)官網(wǎng) http://hadoop.apache.org/zookeeper/ 來(lái)獲取,Zookeeper 的安裝非常簡(jiǎn)單,下面將從單機(jī)模式和集群模式兩個(gè)方面介紹 Zookeeper 的安裝和配置。
單機(jī)模式
單機(jī)安裝非常簡(jiǎn)單,只要獲取到 Zookeeper 的壓縮包并解壓到某個(gè)目錄如:/home/zookeeper-3.2.2 下,Zookeeper 的啟動(dòng)腳本在 bin 目錄下,Linux 下的啟動(dòng)腳本是 zkServer.sh,在 3.2.2 這個(gè)版本 Zookeeper 沒(méi)有提供 windows 下的啟動(dòng)腳本,所以要想在 windows 下啟動(dòng) Zookeeper 要自己手工寫(xiě)一個(gè),如清單 1 所示:
清單 1. Windows 下 Zookeeper 啟動(dòng)腳本
setlocal set ZOOCFGDIR=%~dp0%..\conf set ZOO_LOG_DIR=%~dp0%.. set ZOO_LOG4J_PROP=INFO,CONSOLE set CLASSPATH=%ZOOCFGDIR% set CLASSPATH=%~dp0..\*;%~dp0..\lib\*;%CLASSPATH% set CLASSPATH=%~dp0..\build\classes;%~dp0..\build\lib\*;%CLASSPATH% set ZOOCFG=%ZOOCFGDIR%\zoo.cfg set ZOOMAIN=org.apache.zookeeper.server.ZooKeeperServerMain java "-Dzookeeper.log.dir=%ZOO_LOG_DIR%" "-Dzookeeper.root.logger=%ZOO_LOG4J_PROP%" -cp "%CLASSPATH%" %ZOOMAIN% "%ZOOCFG%" %* endlocal
在你執(zhí)行啟動(dòng)腳本之前,還有幾個(gè)基本的配置項(xiàng)需要配置一下,Zookeeper 的配置文件在 conf 目錄下,這個(gè)目錄下有 zoo_sample.cfg 和 log4j.properties,你需要做的就是將 zoo_sample.cfg 改名為 zoo.cfg,因?yàn)?Zookeeper 在啟動(dòng)時(shí)會(huì)找這個(gè)文件作為默認(rèn)配置文件。下面詳細(xì)介紹一下,這個(gè)配置文件中各個(gè)配置項(xiàng)的意義。
tickTime=2000 dataDir=D:/devtools/zookeeper-3.2.2/build clientPort=2181
- tickTime:這個(gè)時(shí)間是作為 Zookeeper 服務(wù)器之間或客戶(hù)端與服務(wù)器之間維持心跳的時(shí)間間隔,也就是每個(gè) tickTime 時(shí)間就會(huì)發(fā)送一個(gè)心跳。
- dataDir:顧名思義就是 Zookeeper 保存數(shù)據(jù)的目錄,默認(rèn)情況下,Zookeeper 將寫(xiě)數(shù)據(jù)的日志文件也保存在這個(gè)目錄里。
- clientPort:這個(gè)端口就是客戶(hù)端連接 Zookeeper 服務(wù)器的端口,Zookeeper 會(huì)監(jiān)聽(tīng)這個(gè)端口,接受客戶(hù)端的訪(fǎng)問(wèn)請(qǐng)求。
當(dāng)這些配置項(xiàng)配置好后,你現(xiàn)在就可以啟動(dòng) Zookeeper 了,啟動(dòng)后要檢查 Zookeeper 是否已經(jīng)在服務(wù),可以通過(guò) netstat – ano 命令查看是否有你配置的 clientPort 端口號(hào)在監(jiān)聽(tīng)服務(wù)。
集群模式
Zookeeper 不僅可以單機(jī)提供服務(wù),同時(shí)也支持多機(jī)組成集群來(lái)提供服務(wù)。實(shí)際上 Zookeeper 還支持另外一種偽集群的方式,也就是可以在一臺(tái)物理機(jī)上運(yùn)行多個(gè) Zookeeper 實(shí)例,下面將介紹集群模式的安裝和配置。
Zookeeper 的集群模式的安裝和配置也不是很復(fù)雜,所要做的就是增加幾個(gè)配置項(xiàng)。集群模式除了上面的三個(gè)配置項(xiàng)還要增加下面幾個(gè)配置項(xiàng):
initLimit=5 syncLimit=2 server.1=192.168.211.1:2888:3888 server.2=192.168.211.2:2888:3888
- initLimit:這個(gè)配置項(xiàng)是用來(lái)配置 Zookeeper 接受客戶(hù)端(這里所說(shuō)的客戶(hù)端不是用戶(hù)連接 Zookeeper 服務(wù)器的客戶(hù)端,而是 Zookeeper 服務(wù)器集群中連接到 Leader 的 Follower 服務(wù)器)初始化連接時(shí)最長(zhǎng)能忍受多少個(gè)心跳時(shí)間間隔數(shù)。當(dāng)已經(jīng)超過(guò) 10 個(gè)心跳的時(shí)間(也就是 tickTime)長(zhǎng)度后 Zookeeper 服務(wù)器還沒(méi)有收到客戶(hù)端的返回信息,那么表明這個(gè)客戶(hù)端連接失敗。總的時(shí)間長(zhǎng)度就是 5*2000=10 秒
- syncLimit:這個(gè)配置項(xiàng)標(biāo)識(shí) Leader 與 Follower 之間發(fā)送消息,請(qǐng)求和應(yīng)答時(shí)間長(zhǎng)度,最長(zhǎng)不能超過(guò)多少個(gè) tickTime 的時(shí)間長(zhǎng)度,總的時(shí)間長(zhǎng)度就是 2*2000=4 秒
- server.A=B:C:D:其中 A 是一個(gè)數(shù)字,表示這個(gè)是第幾號(hào)服務(wù)器;B 是這個(gè)服務(wù)器的 ip 地址;C 表示的是這個(gè)服務(wù)器與集群中的 Leader 服務(wù)器交換信息的端口;D 表示的是萬(wàn)一集群中的 Leader 服務(wù)器掛了,需要一個(gè)端口來(lái)重新進(jìn)行選舉,選出一個(gè)新的 Leader,而這個(gè)端口就是用來(lái)執(zhí)行選舉時(shí)服務(wù)器相互通信的端口。如果是偽集群的配置方式,由于 B 都是一樣,所以不同的 Zookeeper 實(shí)例通信端口號(hào)不能一樣,所以要給它們分配不同的端口號(hào)。
除了修改 zoo.cfg 配置文件,集群模式下還要配置一個(gè)文件 myid,這個(gè)文件在 dataDir 目錄下,這個(gè)文件里面就有一個(gè)數(shù)據(jù)就是 A 的值,Zookeeper 啟動(dòng)時(shí)會(huì)讀取這個(gè)文件,拿到里面的數(shù)據(jù)與 zoo.cfg 里面的配置信息比較從而判斷到底是那個(gè) server。
數(shù)據(jù)模型
Zookeeper 會(huì)維護(hù)一個(gè)具有層次關(guān)系的數(shù)據(jù)結(jié)構(gòu),它非常類(lèi)似于一個(gè)標(biāo)準(zhǔn)的文件系統(tǒng),如圖 1 所示:
圖 1 Zookeeper 數(shù)據(jù)結(jié)構(gòu)
Zookeeper 這種數(shù)據(jù)結(jié)構(gòu)有如下這些特點(diǎn):
- 每個(gè)子目錄項(xiàng)如 NameService 都被稱(chēng)作為 znode,這個(gè) znode 是被它所在的路徑唯一標(biāo)識(shí),如 Server1 這個(gè) znode 的標(biāo)識(shí)為 /NameService/Server1
- znode 可以有子節(jié)點(diǎn)目錄,并且每個(gè) znode 可以存儲(chǔ)數(shù)據(jù),注意 EPHEMERAL 類(lèi)型的目錄節(jié)點(diǎn)不能有子節(jié)點(diǎn)目錄
- znode 是有版本的,每個(gè) znode 中存儲(chǔ)的數(shù)據(jù)可以有多個(gè)版本,也就是一個(gè)訪(fǎng)問(wèn)路徑中可以存儲(chǔ)多份數(shù)據(jù)
- znode 可以是臨時(shí)節(jié)點(diǎn),一旦創(chuàng)建這個(gè) znode 的客戶(hù)端與服務(wù)器失去聯(lián)系,這個(gè) znode 也將自動(dòng)刪除,Zookeeper 的客戶(hù)端和服務(wù)器通信采用長(zhǎng)連接方式,每個(gè)客戶(hù)端和服務(wù)器通過(guò)心跳來(lái)保持連接,這個(gè)連接狀態(tài)稱(chēng)為 session,如果 znode 是臨時(shí)節(jié)點(diǎn),這個(gè) session 失效,znode 也就刪除了
- znode 的目錄名可以自動(dòng)編號(hào),如 App1 已經(jīng)存在,再創(chuàng)建的話(huà),將會(huì)自動(dòng)命名為 App2
- znode 可以被監(jiān)控,包括這個(gè)目錄節(jié)點(diǎn)中存儲(chǔ)的數(shù)據(jù)的修改,子節(jié)點(diǎn)目錄的變化等,一旦變化可以通知設(shè)置監(jiān)控的客戶(hù)端,這個(gè)是 Zookeeper 的核心特性,Zookeeper 的很多功能都是基于這個(gè)特性實(shí)現(xiàn)的,后面在典型的應(yīng)用場(chǎng)景中會(huì)有實(shí)例介紹
如何使用
Zookeeper 作為一個(gè)分布式的服務(wù)框架,主要用來(lái)解決分布式集群中應(yīng)用系統(tǒng)的一致性問(wèn)題,它能提供基于類(lèi)似于文件系統(tǒng)的目錄節(jié)點(diǎn)樹(shù)方式的數(shù)據(jù)存儲(chǔ),但是 Zookeeper 并不是用來(lái)專(zhuān)門(mén)存儲(chǔ)數(shù)據(jù)的,它的作用主要是用來(lái)維護(hù)和監(jiān)控你存儲(chǔ)的數(shù)據(jù)的狀態(tài)變化。通過(guò)監(jiān)控這些數(shù)據(jù)狀態(tài)的變化,從而可以達(dá)到基于數(shù)據(jù)的集群管理,后面將會(huì)詳細(xì)介紹 Zookeeper 能夠解決的一些典型問(wèn)題,這里先介紹一下,Zookeeper 的操作接口和簡(jiǎn)單使用示例。
常用接口列表
客戶(hù)端要連接 Zookeeper 服務(wù)器可以通過(guò)創(chuàng)建 org.apache.zookeeper. ZooKeeper 的一個(gè)實(shí)例對(duì)象,然后調(diào)用這個(gè)類(lèi)提供的接口來(lái)和服務(wù)器交互。
前面說(shuō)了 ZooKeeper 主要是用來(lái)維護(hù)和監(jiān)控一個(gè)目錄節(jié)點(diǎn)樹(shù)中存儲(chǔ)的數(shù)據(jù)的狀態(tài),所有我們能夠操作 ZooKeeper 的也和操作目錄節(jié)點(diǎn)樹(shù)大體一樣,如創(chuàng)建一個(gè)目錄節(jié)點(diǎn),給某個(gè)目錄節(jié)點(diǎn)設(shè)置數(shù)據(jù),獲取某個(gè)目錄節(jié)點(diǎn)的所有子目錄節(jié)點(diǎn),給某個(gè)目錄節(jié)點(diǎn)設(shè)置權(quán)限和監(jiān)控這個(gè)目錄節(jié)點(diǎn)的狀態(tài)變化。
這些接口如下表所示:
表 1 org.apache.zookeeper. ZooKeeper 方法列表
方法名 | 方法功能描述 |
---|---|
String create ( String ?path, byte[]?data,? List < ACL >?acl, CreateMode ?createMode) | 創(chuàng)建一個(gè)給定的目錄節(jié)點(diǎn) path, 并給它設(shè)置數(shù)據(jù), CreateMode ?標(biāo)識(shí)有四種形式的目錄節(jié)點(diǎn),分別是 PERSISTENT:持久化目錄節(jié)點(diǎn),這個(gè)目錄節(jié)點(diǎn)存儲(chǔ)的數(shù)據(jù)不會(huì)丟失;PERSISTENT_SEQUENTIAL:順序自動(dòng)編號(hào)的目錄節(jié)點(diǎn),這種目錄節(jié)點(diǎn)會(huì)根據(jù)當(dāng)前已近存在的節(jié)點(diǎn)數(shù)自動(dòng)加 1,然后返回給客戶(hù)端已經(jīng)成功創(chuàng)建的目錄節(jié)點(diǎn)名;EPHEMERAL:臨時(shí)目錄節(jié)點(diǎn),一旦創(chuàng)建這個(gè)節(jié)點(diǎn)的客戶(hù)端與服務(wù)器端口也就是 session 超時(shí),這種節(jié)點(diǎn)會(huì)被自動(dòng)刪除;EPHEMERAL_SEQUENTIAL:臨時(shí)自動(dòng)編號(hào)節(jié)點(diǎn) |
Stat exists ( String ?path, boolean?watch) | 判斷某個(gè) path 是否存在,并設(shè)置是否監(jiān)控這個(gè)目錄節(jié)點(diǎn),這里的 watcher 是在創(chuàng)建 ZooKeeper 實(shí)例時(shí)指定的 watcher, exists 方法還有一個(gè)重載方法,可以指定特定的 watcher |
Stat exists ( String ?path, Watcher ?watcher) | 重載方法,這里給某個(gè)目錄節(jié)點(diǎn)設(shè)置特定的 watcher,Watcher 在 ZooKeeper 是一個(gè)核心功能,Watcher 可以監(jiān)控目錄節(jié)點(diǎn)的數(shù)據(jù)變化以及子目錄的變化,一旦這些狀態(tài)發(fā)生變化,服務(wù)器就會(huì)通知所有設(shè)置在這個(gè)目錄節(jié)點(diǎn)上的 Watcher,從而每個(gè)客戶(hù)端都很快知道它所關(guān)注的目錄節(jié)點(diǎn)的狀態(tài)發(fā)生變化,而做出相應(yīng)的反應(yīng) |
void? delete ( String ?path, int?version) | 刪除 path 對(duì)應(yīng)的目錄節(jié)點(diǎn),version 為 -1 可以匹配任何版本,也就刪除了這個(gè)目錄節(jié)點(diǎn)所有數(shù)據(jù) |
List < String > getChildren ( String ?path, boolean?watch) | 獲取指定 path 下的所有子目錄節(jié)點(diǎn),同樣? getChildren 方法也有一個(gè)重載方法可以設(shè)置特定的 watcher 監(jiān)控子節(jié)點(diǎn)的狀態(tài) |
Stat setData ( String ?path, byte[]?data, int?version) | 給 path 設(shè)置數(shù)據(jù),可以指定這個(gè)數(shù)據(jù)的版本號(hào),如果 version 為 -1 怎可以匹配任何版本 |
byte[]? getData ( String ?path, boolean?watch,? Stat ?stat) | 獲取這個(gè) path 對(duì)應(yīng)的目錄節(jié)點(diǎn)存儲(chǔ)的數(shù)據(jù),數(shù)據(jù)的版本等信息可以通過(guò) stat 來(lái)指定,同時(shí)還可以設(shè)置是否監(jiān)控這個(gè)目錄節(jié)點(diǎn)數(shù)據(jù)的狀態(tài) |
void addAuthInfo ( String ?scheme, byte[]?auth) | 客戶(hù)端將自己的授權(quán)信息提交給服務(wù)器,服務(wù)器將根據(jù)這個(gè)授權(quán)信息驗(yàn)證客戶(hù)端的訪(fǎng)問(wèn)權(quán)限。 |
Stat setACL ( String ?path, List < ACL >?acl, int?version) |
給某個(gè)目錄節(jié)點(diǎn)重新設(shè)置訪(fǎng)問(wèn)權(quán)限,需要注意的是 Zookeeper 中的目錄節(jié)點(diǎn)權(quán)限不具有傳遞性,父目錄節(jié)點(diǎn)的權(quán)限不能傳遞給子目錄節(jié)點(diǎn)。目錄節(jié)點(diǎn) ACL 由兩部分組成:perms 和 id。
Perms 有 ALL、READ、WRITE、CREATE、DELETE、ADMIN 幾種? 而 id 標(biāo)識(shí)了訪(fǎng)問(wèn)目錄節(jié)點(diǎn)的身份列表,默認(rèn)情況下有以下兩種: ANYONE_ID_UNSAFE = new Id("world", "anyone") 和 AUTH_IDS = new Id("auth", "") 分別表示任何人都可以訪(fǎng)問(wèn)和創(chuàng)建者擁有訪(fǎng)問(wèn)權(quán)限。 |
List < ACL > getACL ( String ?path, Stat ?stat) | 獲取某個(gè)目錄節(jié)點(diǎn)的訪(fǎng)問(wèn)權(quán)限列表 |
除了以上這些上表中列出的方法之外還有一些重載方法,如都提供了一個(gè)回調(diào)類(lèi)的重載方法以及可以設(shè)置特定 Watcher 的重載方法,具體的方法可以參考 org.apache.zookeeper. ZooKeeper 類(lèi)的 API 說(shuō)明。
基本操作
下面給出基本的操作 ZooKeeper 的示例代碼,這樣你就能對(duì) ZooKeeper 有直觀的認(rèn)識(shí)了。下面的清單包括了創(chuàng)建與 ZooKeeper 服務(wù)器的連接以及最基本的數(shù)據(jù)操作:
清單 2. ZooKeeper 基本的操作示例
// 創(chuàng)建一個(gè)與服務(wù)器的連接 ZooKeeper zk = new ZooKeeper("localhost:" + CLIENT_PORT, ClientBase.CONNECTION_TIMEOUT, new Watcher() { // 監(jiān)控所有被觸發(fā)的事件 public void process(WatchedEvent event) { System.out.println("已經(jīng)觸發(fā)了" + event.getType() + "事件!"); } }); // 創(chuàng)建一個(gè)目錄節(jié)點(diǎn) zk.create("/testRootPath", "testRootData".getBytes(), Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT); // 創(chuàng)建一個(gè)子目錄節(jié)點(diǎn) zk.create("/testRootPath/testChildPathOne", "testChildDataOne".getBytes(), Ids.OPEN_ACL_UNSAFE,CreateMode.PERSISTENT); System.out.println(new String(zk.getData("/testRootPath",false,null))); // 取出子目錄節(jié)點(diǎn)列表 System.out.println(zk.getChildren("/testRootPath",true)); // 修改子目錄節(jié)點(diǎn)數(shù)據(jù) zk.setData("/testRootPath/testChildPathOne","modifyChildDataOne".getBytes(),-1); System.out.println("目錄節(jié)點(diǎn)狀態(tài):["+zk.exists("/testRootPath",true)+"]"); // 創(chuàng)建另外一個(gè)子目錄節(jié)點(diǎn) zk.create("/testRootPath/testChildPathTwo", "testChildDataTwo".getBytes(), Ids.OPEN_ACL_UNSAFE,CreateMode.PERSISTENT); System.out.println(new String(zk.getData("/testRootPath/testChildPathTwo",true,null))); // 刪除子目錄節(jié)點(diǎn) zk.delete("/testRootPath/testChildPathTwo",-1); zk.delete("/testRootPath/testChildPathOne",-1); // 刪除父目錄節(jié)點(diǎn) zk.delete("/testRootPath",-1); // 關(guān)閉連接 zk.close();
輸出的結(jié)果如下:
已經(jīng)觸發(fā)了 None 事件! testRootData [testChildPathOne] 目錄節(jié)點(diǎn)狀態(tài):[5,5,1281804532336,1281804532336,0,1,0,0,12,1,6] 已經(jīng)觸發(fā)了 NodeChildrenChanged 事件! testChildDataTwo 已經(jīng)觸發(fā)了 NodeDeleted 事件! 已經(jīng)觸發(fā)了 NodeDeleted 事件!
當(dāng)對(duì)目錄節(jié)點(diǎn)監(jiān)控狀態(tài)打開(kāi)時(shí),一旦目錄節(jié)點(diǎn)的狀態(tài)發(fā)生變化,Watcher 對(duì)象的 process 方法就會(huì)被調(diào)用。
ZooKeeper 典型的應(yīng)用場(chǎng)景
Zookeeper 從設(shè)計(jì)模式角度來(lái)看,是一個(gè)基于觀察者模式設(shè)計(jì)的分布式服務(wù)管理框架,它負(fù)責(zé)存儲(chǔ)和管理大家都關(guān)心的數(shù)據(jù),然后接受觀察者的注冊(cè),一旦這些數(shù)據(jù)的狀態(tài)發(fā)生變化,Zookeeper 就將負(fù)責(zé)通知已經(jīng)在 Zookeeper 上注冊(cè)的那些觀察者做出相應(yīng)的反應(yīng),從而實(shí)現(xiàn)集群中類(lèi)似 Master/Slave 管理模式,關(guān)于 Zookeeper 的詳細(xì)架構(gòu)等內(nèi)部細(xì)節(jié)可以閱讀 Zookeeper 的源碼
下面詳細(xì)介紹這些典型的應(yīng)用場(chǎng)景,也就是 Zookeeper 到底能幫我們解決那些問(wèn)題?下面將給出答案。
統(tǒng)一命名服務(wù)(Name Service)
分布式應(yīng)用中,通常需要有一套完整的命名規(guī)則,既能夠產(chǎn)生唯一的名稱(chēng)又便于人識(shí)別和記住,通常情況下用樹(shù)形的名稱(chēng)結(jié)構(gòu)是一個(gè)理想的選擇,樹(shù)形的名稱(chēng)結(jié)構(gòu)是一個(gè)有層次的目錄結(jié)構(gòu),既對(duì)人友好又不會(huì)重復(fù)。說(shuō)到這里你可能想到了 JNDI,沒(méi)錯(cuò) Zookeeper 的 Name Service 與 JNDI 能夠完成的功能是差不多的,它們都是將有層次的目錄結(jié)構(gòu)關(guān)聯(lián)到一定資源上,但是 Zookeeper 的 Name Service 更加是廣泛意義上的關(guān)聯(lián),也許你并不需要將名稱(chēng)關(guān)聯(lián)到特定資源上,你可能只需要一個(gè)不會(huì)重復(fù)名稱(chēng),就像數(shù)據(jù)庫(kù)中產(chǎn)生一個(gè)唯一的數(shù)字主鍵一樣。
Name Service 已經(jīng)是 Zookeeper 內(nèi)置的功能,你只要調(diào)用 Zookeeper 的 API 就能實(shí)現(xiàn)。如調(diào)用 create 接口就可以很容易創(chuàng)建一個(gè)目錄節(jié)點(diǎn)。
配置管理(Configuration Management)
配置的管理在分布式應(yīng)用環(huán)境中很常見(jiàn),例如同一個(gè)應(yīng)用系統(tǒng)需要多臺(tái) PC Server 運(yùn)行,但是它們運(yùn)行的應(yīng)用系統(tǒng)的某些配置項(xiàng)是相同的,如果要修改這些相同的配置項(xiàng),那么就必須同時(shí)修改每臺(tái)運(yùn)行這個(gè)應(yīng)用系統(tǒng)的 PC Server,這樣非常麻煩而且容易出錯(cuò)。
像這樣的配置信息完全可以交給 Zookeeper 來(lái)管理,將配置信息保存在 Zookeeper 的某個(gè)目錄節(jié)點(diǎn)中,然后將所有需要修改的應(yīng)用機(jī)器監(jiān)控配置信息的狀態(tài),一旦配置信息發(fā)生變化,每臺(tái)應(yīng)用機(jī)器就會(huì)收到 Zookeeper 的通知,然后從 Zookeeper 獲取新的配置信息應(yīng)用到系統(tǒng)中。
圖 2. 配置管理結(jié)構(gòu)圖
集群管理(Group Membership)
Zookeeper 能夠很容易的實(shí)現(xiàn)集群管理的功能,如有多臺(tái) Server 組成一個(gè)服務(wù)集群,那么必須要一個(gè)“總管”知道當(dāng)前集群中每臺(tái)機(jī)器的服務(wù)狀態(tài),一旦有機(jī)器不能提供服務(wù),集群中其它集群必須知道,從而做出調(diào)整重新分配服務(wù)策略。同樣當(dāng)增加集群的服務(wù)能力時(shí),就會(huì)增加一臺(tái)或多臺(tái) Server,同樣也必須讓“總管”知道。
Zookeeper 不僅能夠幫你維護(hù)當(dāng)前的集群中機(jī)器的服務(wù)狀態(tài),而且能夠幫你選出一個(gè)“總管”,讓這個(gè)總管來(lái)管理集群,這就是 Zookeeper 的另一個(gè)功能 Leader Election。
它們的實(shí)現(xiàn)方式都是在 Zookeeper 上創(chuàng)建一個(gè) EPHEMERAL 類(lèi)型的目錄節(jié)點(diǎn),然后每個(gè) Server 在它們創(chuàng)建目錄節(jié)點(diǎn)的父目錄節(jié)點(diǎn)上調(diào)用 getChildren ( String ?path, boolean?watch) 方法并設(shè)置 watch 為 true,由于是 EPHEMERAL 目錄節(jié)點(diǎn),當(dāng)創(chuàng)建它的 Server 死去,這個(gè)目錄節(jié)點(diǎn)也隨之被刪除,所以 Children 將會(huì)變化,這時(shí)? getChildren 上的 Watch 將會(huì)被調(diào)用,所以其它 Server 就知道已經(jīng)有某臺(tái) Server 死去了。新增 Server 也是同樣的原理。
Zookeeper 如何實(shí)現(xiàn) Leader Election,也就是選出一個(gè) Master Server。和前面的一樣每臺(tái) Server 創(chuàng)建一個(gè) EPHEMERAL 目錄節(jié)點(diǎn),不同的是它還是一個(gè) SEQUENTIAL 目錄節(jié)點(diǎn),所以它是個(gè) EPHEMERAL_SEQUENTIAL 目錄節(jié)點(diǎn)。之所以它是 EPHEMERAL_SEQUENTIAL 目錄節(jié)點(diǎn),是因?yàn)槲覀兛梢越o每臺(tái) Server 編號(hào),我們可以選擇當(dāng)前是最小編號(hào)的 Server 為 Master,假如這個(gè)最小編號(hào)的 Server 死去,由于是 EPHEMERAL 節(jié)點(diǎn),死去的 Server 對(duì)應(yīng)的節(jié)點(diǎn)也被刪除,所以當(dāng)前的節(jié)點(diǎn)列表中又出現(xiàn)一個(gè)最小編號(hào)的節(jié)點(diǎn),我們就選擇這個(gè)節(jié)點(diǎn)為當(dāng)前 Master。這樣就實(shí)現(xiàn)了動(dòng)態(tài)選擇 Master,避免了傳統(tǒng)意義上單 Master 容易出現(xiàn)單點(diǎn)故障的問(wèn)題。
圖 3. 集群管理結(jié)構(gòu)圖
這部分的示例代碼如下,完整的代碼請(qǐng)看附件:
清單 3. Leader Election 關(guān)鍵代碼
void findLeader() throws InterruptedException { byte[] leader = null; try { leader = zk.getData(root + "/leader", true, null); } catch (Exception e) { logger.error(e); } if (leader != null) { following(); } else { String newLeader = null; try { byte[] localhost = InetAddress.getLocalHost().getAddress(); newLeader = zk.create(root + "/leader", localhost, ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL); } catch (Exception e) { logger.error(e); } if (newLeader != null) { leading(); } else { mutex.wait(); } } }
共享鎖(Locks)
共享鎖在同一個(gè)進(jìn)程中很容易實(shí)現(xiàn),但是在跨進(jìn)程或者在不同 Server 之間就不好實(shí)現(xiàn)了。Zookeeper 卻很容易實(shí)現(xiàn)這個(gè)功能,實(shí)現(xiàn)方式也是需要獲得鎖的 Server 創(chuàng)建一個(gè) EPHEMERAL_SEQUENTIAL 目錄節(jié)點(diǎn),然后調(diào)用? getChildren 方法獲取當(dāng)前的目錄節(jié)點(diǎn)列表中最小的目錄節(jié)點(diǎn)是不是就是自己創(chuàng)建的目錄節(jié)點(diǎn),如果正是自己創(chuàng)建的,那么它就獲得了這個(gè)鎖,如果不是那么它就調(diào)用? exists ( String ?path, boolean?watch) 方法并監(jiān)控 Zookeeper 上目錄節(jié)點(diǎn)列表的變化,一直到自己創(chuàng)建的節(jié)點(diǎn)是列表中最小編號(hào)的目錄節(jié)點(diǎn),從而獲得鎖,釋放鎖很簡(jiǎn)單,只要?jiǎng)h除前面它自己所創(chuàng)建的目錄節(jié)點(diǎn)就行了。
圖 4. Zookeeper 實(shí)現(xiàn) Locks 的流程圖
同步鎖的實(shí)現(xiàn)代碼如下,完整的代碼請(qǐng)看附件:
清單 4. 同步鎖的關(guān)鍵代碼
void getLock() throws KeeperException, InterruptedException{ List<String> list = zk.getChildren(root, false); String[] nodes = list.toArray(new String[list.size()]); Arrays.sort(nodes); if(myZnode.equals(root+"/"+nodes[0])){ doAction(); } else{ waitForLock(nodes[0]); } } void waitForLock(String lower) throws InterruptedException, KeeperException { Stat stat = zk.exists(root + "/" + lower,true); if(stat != null){ mutex.wait(); } else{ getLock(); } }
隊(duì)列管理
Zookeeper 可以處理兩種類(lèi)型的隊(duì)列:
- 當(dāng)一個(gè)隊(duì)列的成員都聚齊時(shí),這個(gè)隊(duì)列才可用,否則一直等待所有成員到達(dá),這種是同步隊(duì)列。
- 隊(duì)列按照 FIFO 方式進(jìn)行入隊(duì)和出隊(duì)操作,例如實(shí)現(xiàn)生產(chǎn)者和消費(fèi)者模型。
同步隊(duì)列用 Zookeeper 實(shí)現(xiàn)的實(shí)現(xiàn)思路如下:
創(chuàng)建一個(gè)父目錄 /synchronizing,每個(gè)成員都監(jiān)控標(biāo)志(Set Watch)位目錄 /synchronizing/start 是否存在,然后每個(gè)成員都加入這個(gè)隊(duì)列,加入隊(duì)列的方式就是創(chuàng)建 /synchronizing/member_i 的臨時(shí)目錄節(jié)點(diǎn),然后每個(gè)成員獲取 / synchronizing 目錄的所有目錄節(jié)點(diǎn),也就是 member_i。判斷 i 的值是否已經(jīng)是成員的個(gè)數(shù),如果小于成員個(gè)數(shù)等待 /synchronizing/start 的出現(xiàn),如果已經(jīng)相等就創(chuàng)建 /synchronizing/start。
用下面的流程圖更容易理解:
圖 5. 同步隊(duì)列流程圖
同步隊(duì)列的關(guān)鍵代碼如下,完整的代碼請(qǐng)看附件:
清單 5. 同步隊(duì)列
void addQueue() throws KeeperException, InterruptedException{ zk.exists(root + "/start",true); zk.create(root + "/" + name, new byte[0], Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL_SEQUENTIAL); synchronized (mutex) { List<String> list = zk.getChildren(root, false); if (list.size() < size) { mutex.wait(); } else { zk.create(root + "/start", new byte[0], Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT); } } }
當(dāng)隊(duì)列沒(méi)滿(mǎn)是進(jìn)入 wait(),然后會(huì)一直等待 Watch 的通知,Watch 的代碼如下:
public void process(WatchedEvent event) { if(event.getPath().equals(root + "/start") && event.getType() == Event.EventType.NodeCreated){ System.out.println("得到通知"); super.process(event); doAction(); } }
FIFO 隊(duì)列用 Zookeeper 實(shí)現(xiàn)思路如下:
實(shí)現(xiàn)的思路也非常簡(jiǎn)單,就是在特定的目錄下創(chuàng)建 SEQUENTIAL 類(lèi)型的子目錄 /queue_i,這樣就能保證所有成員加入隊(duì)列時(shí)都是有編號(hào)的,出隊(duì)列時(shí)通過(guò) getChildren( ) 方法可以返回當(dāng)前所有的隊(duì)列中的元素,然后消費(fèi)其中最小的一個(gè),這樣就能保證 FIFO。
下面是生產(chǎn)者和消費(fèi)者這種隊(duì)列形式的示例代碼,完整的代碼請(qǐng)看附件:
清單 6. 生產(chǎn)者代碼
boolean produce(int i) throws KeeperException, InterruptedException{ ByteBuffer b = ByteBuffer.allocate(4); byte[] value; b.putInt(i); value = b.array(); zk.create(root + "/element", value, ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT_SEQUENTIAL); return true; }
清單 7. 消費(fèi)者代碼
int consume() throws KeeperException, InterruptedException{ int retvalue = -1; Stat stat = null; while (true) { synchronized (mutex) { List<String> list = zk.getChildren(root, true); if (list.size() == 0) { mutex.wait(); } else { Integer min = new Integer(list.get(0).substring(7)); for(String s : list){ Integer tempValue = new Integer(s.substring(7)); if(tempValue < min) min = tempValue; } byte[] b = zk.getData(root + "/element" + min,false, stat); zk.delete(root + "/element" + min, 0); ByteBuffer buffer = ByteBuffer.wrap(b); retvalue = buffer.getInt(); return retvalue; } } } }
總結(jié)
Zookeeper 作為 Hadoop 項(xiàng)目中的一個(gè)子項(xiàng)目,是 Hadoop 集群管理的一個(gè)必不可少的模塊,它主要用來(lái)控制集群中的數(shù)據(jù),如它管理 Hadoop 集群中的 NameNode,還有 Hbase 中 Master Election、Server 之間狀態(tài)同步等。
本文介紹的 Zookeeper 的基本知識(shí),以及介紹了幾個(gè)典型的應(yīng)用場(chǎng)景。這些都是 Zookeeper 的基本功能,最重要的是 Zoopkeeper 提供了一套很好的分布式集群管理的機(jī)制,就是它這種基于層次型的目錄樹(shù)的數(shù)據(jù)結(jié)構(gòu),并對(duì)樹(shù)中的節(jié)點(diǎn)進(jìn)行有效管理,從而可以設(shè)計(jì)出多種多樣的分布式的數(shù)據(jù)管理模型,而不僅僅局限于上面提到的幾個(gè)常用應(yīng)用場(chǎng)景。
更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主
微信掃碼或搜索:z360901061

微信掃一掃加我為好友
QQ號(hào)聯(lián)系: 360901061
您的支持是博主寫(xiě)作最大的動(dòng)力,如果您喜歡我的文章,感覺(jué)我的文章對(duì)您有幫助,請(qǐng)用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點(diǎn)擊下面給點(diǎn)支持吧,站長(zhǎng)非常感激您!手機(jī)微信長(zhǎng)按不能支付解決辦法:請(qǐng)將微信支付二維碼保存到相冊(cè),切換到微信,然后點(diǎn)擊微信右上角掃一掃功能,選擇支付二維碼完成支付。
【本文對(duì)您有幫助就好】元
